转自：https://www.jianshu.com/p/43318a3dc715?from=timeline&isappinstalled=0
https://blog.csdn.net/ericcchen/article/details/72357411
实际含义包括数据和假设的概率模型之间的差距，也可以理解为损失。
当以2为底时表示的是，以当前形式标识信息损失了多少位。
1.数据的熵
当底数为2时，就是香农熵。
2.KL散度度量信息损失
常见书写形式:
KL(p||q)和KL(q||p)并不相等，所以不是距离。
3.JS散度是对称的
计算公式：用到了KL散度。
JS是有界对称的，界是[0,1]
将KL公式代入进去即可。如果P1、P2完全相同，那么KL和JS都为0.
2020-9-24更新——————
https://blog.csdn.net/Invokar/article/details/88917214，这个对JS散度是展开的，写的很好。
