Classification Probability Models and Conditional Random Fields（2）--HMM

    在上一篇Classification Probability Models and Conditional Random Fields（1）中，介绍了朴素贝叶斯分类方法，朴树贝叶斯分类方法中对于输入向量X只赋予一个输出标记Y。但是在实际的应用中常常需要对一个输入序列赋予一个输出序列标记，这时候就可以使用隐马尔科夫模型（Hidden Markov Model），HMM可以看作是朴树贝叶斯的一个简单推广，朴树贝叶斯的输出为单一标记变量y，HMM的输出则是一个标记序列
Y= (y 1 , . . . , y n )。根据贝叶斯中的假设，两个序列的联合概率可表示为：



其中只假设每一个观测值Xi仅仅依赖于类变量Yi，其他的均是条件独立的。

[align=left]      但是在实际中，这个假设很难满足，如果使用这个假设，将不会得到好的实验效果。因此在HMM中，假设当前状态于前一个状态相关，这就是HMM中的有限视野假设。这样，上面的计算公式可转换为：

[/align]



     
这就得到了大家熟知的Hidden Markov Model：



       HMM模型在很多应用中取得了很好的效果。但是它的一个显著缺点就是为了降低计算复杂度做了较强的独立性假设，而在现实生活中，很多变量之间是有一定关系的，这些信息在HMM中就无法表现。所以在此基础上，人们提出了最大熵模型。

             HMM 是一个序列标注模型，对于输入序列，赋予一个label序列，在使用特征时，对后面序列的选择使用了前面序列最为特征。