1.交叉熵：用来描述通信中将一个概率分布的最优编码用到另一个概率分布的平均比特数
公式：
2.交叉熵是不对称的
3.交叉熵的作用是表达两个概率分布的差异性
设概率分布p(x)和q(x)，两个概率分布差异性越大，用分布q表示分布p的交叉熵，比p的熵越大
同理，两个概率分布差异越大，用分布p表示分布q的交叉熵比分布q的熵越大
如果两个分布相同，交叉熵为零
4. The KL divergence of p with respect to q，Dq(p)表示两个分布的差异性，其定义是：
1.交叉熵：用来描述通信中将一个概率分布的最优编码用到另一个概率分布的平均比特数
公式：
2.交叉熵是不对称的
3.交叉熵的作用是表达两个概率分布的差异性
设概率分布p(x)和q(x)，两个概率分布差异性越大，用分布q表示分布p的交叉熵，比p的熵越大
同理，两个概率分布差异越大，用分布p表示分布q的交叉熵比分布q的熵越大
如果两个分布相同，交叉熵为零
4. The KL divergence of p with respect to q，Dq(p)表示两个分布的差异性，其定义是：