熵的理解（玻尔兹曼分布）

log2n（以 2 为底的对数）：用二进制数来表达不同的状态组合需要多少个二进制位；

0. 玻尔兹曼分布

网络中任意两个状态出现的概率与对应能量之间的关系：

P ( α ) P ( β ) = exp ( - E 0 / T ) exp ( - E 1 / T )

从式中可以得出两点结论，

（1）BM 网络处于某一状态（P(x=α)）下的概率主要取决于此状态下的能量 Eα，能量越低，出现的概率越大；
（2）BM 网络处于某一状态的概率还取决于温度参数 T，温度越高，不同状态出现的概率越接近，网络能量也较易跳出局部最小而搜索全局最小，
- 温度低时，则情况相反；

1. 物理的解释

一个密封系统中，装有许多气体粒子（分子），共有 N 个粒子（由于是密封，不会增加也不会减少），假设系统内部的温度为 T，系统内的分子有两种状态，ϵ0,ϵ1（前者表示低能量的状态，后者表示高能量的状态），处在 ϵ0 能级上的粒子有 n0 个，处在 ϵ1 能及上的粒子有 n1 个，显然一个永远满足的等式即为：

n 0 + n 1 = N

N 个粒子，存在 n0 个 ϵ0 和 n1 个 ϵ1这种分布的组合数（状态数）记为 W，则 W=(n0N)=(n1N)=N!n0!n1!，

此时我们来计算系统的熵（与系统可能的状态数有关）：

S = k log 2 W = k log 2 (N ! n 0 ! n 1 !) = k (log 2 N! - log 2 n 0! - log 2 n 1!)

k 称为玻尔兹曼机常数，W 为状态数。一些时刻之后向系统内施加一部分能量 ϵ，有一粒子从低能级跃迁至高能级，n0−=1,n1+=1，则新状态下的熵为：

S' = k log 2 W' = k log 2 (N ! ( n 0 - 1 ) ! ( n 1 + 1 ) !) = k (log 2 N! - log 2 (n 0 - 1)! - log 2 (n 1 + 1)!)

所以有系统能量的变化为：

Δ S = S' - S = k log 2 n 0 n 1 + 1 \approx k log 2 n 0 n 1

近似的原因在于，分子的数量是相当大的。由热力学的相关定理可知，

Δ S = ϵ T = k ln n 0 n 1

进一步可得出：

n 0 n 1 = e ϵ / k T

这样的一个分布情况，就是玻尔兹曼分布；