HMM,MEMM,CRF模型的比较
2009-06-04 15:22
411 查看
这三个模型都可以用来做序列标注模型。但是其各自有自身的特点,HMM模型是对转移概率和表现概率直接建模,统计共现概率。而MEMM模型是对转移概率和表现概率建立联合概率,统计时统计的是条件概率。MEMM容易陷入局部最优,是因为MEMM只在局部做归一化,而CRF模型中,统计了全局概率,在做归一化时,考虑了数据在全局的分布,而不是仅仅在局部归一化,这样就解决了MEMM中的标记偏置的问题。
举个例子,对于一个标注任务,“我爱北京天安门“,
标注为" s s b e b c e"
对于HMM的话,其判断这个标注成立的概率为 P= P(s转移到s)*P('我'表现为s)* P(s转移到b)*P('爱'表现为s)* ...*P().训练时,要统计状态转移概率矩阵和表现矩阵。
对于MEMM的话,其判断这个标注成立的概率为 P= P(s转移到s|'我'表现为s)*P('我'表现为s)* P(s转移到b|'爱'表现为s)*P('爱'表现为s)*..训练时,要统计条件状态转移概率矩阵和表现矩阵。
对于CRF的话,其判断这个标注成立的概率为 P= F(s转移到s,'我'表现为s)....F为一个函数,是在全局范围统计归一化的概率而不是像MEMM在局部统计归一化的概率。
举个例子,对于一个标注任务,“我爱北京天安门“,
标注为" s s b e b c e"
对于HMM的话,其判断这个标注成立的概率为 P= P(s转移到s)*P('我'表现为s)* P(s转移到b)*P('爱'表现为s)* ...*P().训练时,要统计状态转移概率矩阵和表现矩阵。
对于MEMM的话,其判断这个标注成立的概率为 P= P(s转移到s|'我'表现为s)*P('我'表现为s)* P(s转移到b|'爱'表现为s)*P('爱'表现为s)*..训练时,要统计条件状态转移概率矩阵和表现矩阵。
对于CRF的话,其判断这个标注成立的概率为 P= F(s转移到s,'我'表现为s)....F为一个函数,是在全局范围统计归一化的概率而不是像MEMM在局部统计归一化的概率。
相关文章推荐
- HMM,MEMM,CRF模型的比较(转)
- 标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较
- HMM,MEMM,CRF模型的比较(转)
- 标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较<转>
- 标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较
- HMM、MEMM、CRF模型比较
- HMM,MEMM,CRF模型的比较
- 标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较
- HMM、MEMM、CRF模型比较和标注偏置问题(Label Bias Problem)
- HMM模型/最大熵模型/CRF模型比较
- 下列哪个不属于CRF模型对于HMM和MEMM模型的优势( )
- HMM模型 MEMM模型 CRF模型
- Logistic 最大熵 朴素贝叶斯 HMM MEMM CRF 几个模型的总结
- HMM,MEMM,CRF模型
- 【转】统计模型之间的比较,HMM,最大熵模型,CRF条件随机场
- HMM/MEMM/CRF
- HMM MEMM CRF 区别 联系
- HMM->MEMM->CRF
- HMM MEMM CRF 差别 联系
- 概率图模型学习笔记:HMM、MEMM、CRF