https://zhuanlan.zhihu.com/p/37452654
https://blog.csdn.net/weixinhum/article/details/85064685
相对熵(KL散度)
KL 散度：衡量每个近似分布与真实分布之间匹配程度的方法：
[D_{K L}(p | q)=sum_{i=1}^{N} pleft(x_{i}
ight) log left(frac{pleft(x_{i}
ight)}{qleft(x_{i}
ight)}
ight)
]
其中 q(x) 是近似分布，p(x) 是我们想要用 q(x) 匹配的真实分布。直观地说，这衡量的是 给定任意分布偏离真实分布的程度。如果两个分布完全匹配，那么
[D_{K L}(p | q)=0
]
，否则它的取值应该是在 0 到无穷大（inf）之间。KL 散度越小，真实分布与近似分布之间的匹配就越好。
交叉熵
