通俗的解释交叉熵与相对熵

一、交叉熵

(1):离散表示：

(2):连续表示：

两项中 H(p)是 p的信息熵，后者是p和q的相对熵；

二、相对熵

(1):离散表示：

(2):连续表示：

 三、二者关系

【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/hellochennan/p/6623955.html