本博客旨在通过一些例子不严谨但直观的“推出”信息熵的概念。
首先，信息熵是度量一件事儿的不确定性的，而这里“一件事儿”更确切的说是“一个随机变量及其分布”。比如，扔硬币这件事儿其实是离散型随机变量(P={0,1})服从({frac12,frac12})的随机分布。
所以，我们定义一个离散型随机变量(P)的信息熵为(H(P))，我们希望(P)越不确定(H(P))就越大。
定义一个量当然要定义这个量一个单位的含义，我们不如就假设，抛一个硬币看正反面所对应的随机变量(P1)的信息熵(H(P1)=1)。
接下来，我们假设有(H(A+B)=H(A)+H(B))成立，即两件事情之和的不确定性等于两件事情各自的不确定性之和，你可能觉得这个假设有些道理又有些没道理，那么不妨继续看下去————如果顺着这个假设能推出来有用的东西，那这个假设自然就是有道理的了。
按照上述假设，我们发现同时抛掷三枚硬币的信息熵应该是(3H(P1)=3)，而该事件所对应的随机变量(P2)是以(frac18)等概率分布的。
对比一下以(frac12)概率等概率分布的(P1)信息熵是(1)，而以(frac18)等概率分布的(P2)信息熵是(3)。因此我们不妨先写出一个初步的定义：
若随机变量(P)是服从以(p)为概率的等概率分布，则(H(p)=-log(p))。
那么如果不等概率呢？数学感觉好的大佬可能会发现，(H(P1)=-log(p)=-log(0.5)=1)可以理解为(H(P1)=-frac{log(0.5)}{2}-frac{log(0.5)}{2})，即每一种可能性的(log(p))按照其概率(frac12)取平均值。因此大胆猜测，如果有一个随机变量(P3)的分布是({frac14,frac34})的话，那么其(H(P3)=-frac{log(0.25)}{4}-frac{3log(0.75)}{4})。
这合理吗？计算发现(H(P3)=0.81...)，比(H(P1)=1)要小，而(P3)也确实应该有更小的不确定性（因为(P3)有(frac34)的概率取到一个值，所以我们可以更确定这个值被取到的概率更大）。
因此，总结上面的内容，我们得到：如果有一个随机变量(P)的分布为({p_1,p_2,...,p_n})，那么我们定义其信息熵为：$$H(P)=Sigma_{i=1}^{n} -p_ilog(p_i)$$