统计学习方法：最大熵模型

作者：桂。

时间：2017-05-12 12:45:57

链接：http://www.cnblogs.com/xingshansi/p/6770062.html



前言


[b]一、基本性质[/b]

　　在啥也不知道的时候，没有什么假设以及先验作为支撑，我们认为事件等可能发生，不确定性最大。反过来，所有可能性当中，不确定性最大的模型最好。熵是衡量不确定性（也就是信息量）的度量方式，这就引出了最大熵模型：


实际情况里，概率的取值可能不是任意值，因此通常有一些约束条件。

[b]二、理论模型[/b]

对于给定的训练数据集

以及特征函数

，最大熵模型的参数求解，对应优化问题：




上面的优化问题可以改变一下形式：



对于这一优化问题，可以利用拉格朗日乘子法（也叫 拉格朗日松弛法）求解：



这就将含有约束条件的优化问题转化为不含约束条件的优化问题。对于这个无约束的求解：



熵是凸函数，且约束条件都是仿射函数，因此该求解的对偶形式求解，二者的结果一致，因此为了简化运算，利用对偶形式求解（这个之前的文章有分析过了）：



针对对偶问题进行求解，至此完成了参数求解的整个思路，总结一下就是三个步骤：

第一步：分析原始问题

第二步：拉格朗日乘子法转化

第三步：对偶问题求解

[b]三、应用举例[/b]

对于A,B,C,D,E，对A的p(y1)及B的p(y2)有约束，求解最大熵模型。

分析（三步走）：

第一步，求解原始问题：



第二步，利用拉格朗日乘子法：



第三步：对偶问题求解：



最终结果为：



参考

李航《统计学习方法》