Data Mining --- Information theory：熵/条件熵/互信息(信息增益)/交叉熵(相对熵/KL距离)

一、Jensen不等式

若f为区间I上的凹函数，则Jensen不等式成立：





这里若函数f为凹函数，则有：





凹函数（上凸）如下图所示：





归纳证明：





Jessen不等式是凹函数的基本性质，在信息论中经常用到，常见的凹函数如下图：









二、信息论

1.熵（信息不确定性度量）





2.联合熵





3.条件熵





4.互信息（信息增益）





5.交叉熵（相对熵/KL距离）









总结：熵、联合熵、条件熵、互信息的关系