Data Mining --- Information theory：熵/条件熵/互信息(信息增益)/交叉熵(相对熵/KL距离)

一、Jensen不等式

若f为区间I上的凹函数，则Jensen不等式成立：

这里若函数f为凹函数，则有：

凹函数（上凸）如下图所示：

归纳证明：

Jessen不等式是凹函数的基本性质，在信息论中经常用到，常见的凹函数如下图：

二、信息论

1.熵（信息不确定性度量）

2.联合熵

3.条件熵

4.互信息（信息增益）

5.交叉熵（相对熵/KL距离）

总结：熵、联合熵、条件熵、互信息的关系