1 熵
1.1 香农熵（Shannon Entropy）
用来描述信息量的多少,随机变量不确定性的度量（metric），给定一个随机变量(X,p(x)=Pr{X=x},xinomega)
[H(X)= -sum_{xinomega}{p(x)log_2p(x)}
]
1.2 联合熵（Joint Entropy）
衡量一对随机变量所包含的信息量，两个随机变量联合不确定性的度量,联合熵描述了随机变量的相关性，越小越相关((X,Y))及联合分布(p(x,y))
[H(X,Y) = -sum_{xin X}sum_{yin Y}{p(x,y)log_2p(x,y)}
]
1.3 条件熵（Conditional Entropy）
已知(Y)随机变量的前提下，随机变量(X)提供的信息量，依据(p(x|y)=p(x,y)/p(y))
[egin{aligned}
H(X|Y) &= -sum_{xin X}sum_{yin Y}{p(x,y)log_2p(x|y)}\
&=-sum_{xin X}sum_{yin Y}{p(x,y)log_2p[(x,y)/p(y)]}\
&=H(X,Y)-H(Y)
end{aligned}
]
对于联合分布和边缘分布，把(X)或(Y)的熵称作边缘熵，于是有
[H(Y|X)=H(X,Y)-H(X)\
H(X,Y) = H(Y|X)+H(X)=H(X|Y)+H(Y)
]
1.4 累计剩余熵（Cumulative Residual Entropy，CRE）
将香农熵定义中的概率分布换成累计概率分布
[epsilon(X)=-sum_{Xin X}P(X>x)logP(X>x)
]
1.5 瑞利熵（RE）
瑞利熵时香浓熵的一种推广形式，又称作(alpha)熵
[R_alpha(X)=frac{1}{1-alpha}logsum_{xin X}p(x)^alpha quad (alpha>0,alpha
ot ={1})
]
当(alpha o 1)，求得瑞利熵的极限为香农熵，求极限也很简单，利用洛必达法则即可求得即可
2 相似性度量
2.1 互信息（Mutual Information，MI）
互信息衡量随随机变量(X,Y)之间的依赖程度，用来测量联合概率分布和二者完全独立时的分布之间的距离，使用KL散度（或称为相对熵）来定义
[MI(X,Y)=sum_xsum_y{p(x,y)=logfrac{p(x,y)}{p(x)cdot p(y)}}
]
互信息、联合熵、边缘熵、条件熵之间有紧密的关系
[egin{aligned}
MI(x,y) &= H(X)+H(Y)-H(X,Y)\
&=H(X)-H(X|Y)\
&=H(Y)-H(Y|X)
end{aligned}
]
互信息表示(X)中包含(Y)的信息的多少，也是对称的(Y)中包含(X)的多少。若(X,Y)独立则(I(X,Y)=0),若一一相关，则(I(X,Y)=H(X)=H(Y))
2.2 归一化互信息（Normalized Mutual Information，NMI）
为了解决互信息对图像部分重叠区域的敏感性，提出了NMI
[NMI(X,Y)=frac{H(X)+H(Y)}{H(X,Y)}
]
2.3 熵相关系数（Entropy Correlation Coefficient，ECC）
可以看作另一种归一化互信息
[egin{aligned}
ECC(X,Y) &=frac{2I(X,Y)}{H(X)+H(Y)}\
&=2-frac{2}{NMI}
end{aligned}
]
2.4 互累计剩余熵（Cross Cumulative Residual Entropy，CRE）
和互信息类似，只不过这里的熵换成了累计剩余熵
[CCRE(X,Y)=epsilon(X)-E[epsilon(Y|X)]
]
2.5 Alpha互信息（Alpha Mutual Information，(alpha-MI)）
根据(alpha)熵得出(alpha)熵
[D_alpha(X,Y)=frac{1}{alpha -1}logsum_{xin X}sum_{yin Y}p(x,y)^alpha(p(x)p(y))^{1-alpha}
]
2.6 相对熵（KL散度）
相对熵也称作为KL散度，可以衡量两个分布之间的差异,(p,q)是(X)上的两个分布
[D_{KL}(p||q)=sum{p(x)logfrac{p(x)}{q(x)}}
]
2.7 交叉熵
是KL散度的一部分
[H(p,q)= sum_{xin X}p(x)log(q(x))
]
2.8 詹森香农散度（JS散度）
因为KL散度不对称，所以提出了JS散度
[JS(p||q)=frac{1}{2}D_{KL}(p||frac{p+q}{2})+frac{1}{2}D_{KL}(q||frac{p+q}{2})
]
2.9 詹森瑞利散度
[JR_alpha^omega(X,Y)=R_alpha(Y)-sum_{xin X}p(x)R_alpha(Y|x)
]