HMM经典介绍论文【Rabiner 1989】翻译(十七)——多观测序列
2017-12-05 11:59
267 查看
5.2 多观测序列
在第4节我们讨论了左右HMM(Bakis模型),这种模型中状态按序从t=1时的状态1移动到t−T时的状态N。我们已经讨论了左右模型是怎么对状态转移矩阵施加约束的以及初始状态概率(45)-(48)。但是,左右模型的主要问题是不可能只用一个观测序列训练模型。这是因为模型中状态的瞬态性质允许状态被观察到有限几次,直到转移到后续状态。为了有足够的数据对模型参数进行可靠估计,我们必须使用多个观察序列。估计过程修改如下。我们定义K个观测序列为O=[O1,O2,⋯,OK](106)
其中Ok=[Ok1Ok2⋯OkTk]是第k个观测序列。我们假设每个观测序列和其他所有的观测序列之间是独立的,并且我们的目的是调整模型参数λ以最大化
P(O|λ)=∏k=1KP(Ok|λ)=∏k=1KPk,(107)(108)
其中Pk是每个序列的概率,可以通过前向算法进行计算。
现在
γkt(i)=P(qkt=Si|O,λ)=P(qkt=Si|O,λ)=αkt(i)βkt(i)P(Ok|λ)=αkt(i)βkt(i)Pk
ξkt(i,j)=P(qkt=Si,qkt+1=Sj|O,λ)=P(qkt=Si,qkt+1=Sj|Ok,λ)=αkt(i)aijbj(Okt+1)βkt+1(j)P(Ok,λ)=αkt(i)aijbj(Okt+1)βkt+1(j)Pk
在参数估计表达式中,对单观测序列,分子分母中的P(O|λ)项可以被消掉;但是对于多观测序列是没法消掉的。
于是修改后的估计公式为
aij¯=∑Kk=1∑Tk−1t=1ξkt(i,j)∑Kk=1∑Tk−1t=1γkt(i)=∑Kk=11Pk∑Tk−1t=1αkt(i)aijbj(Okt+1)βkt+1(j)∑Kk=11Pk∑Tk−1t=1αkt(i)βkt(i)(109)
bj¯(l)=∑Kk=1∑Tkt=1,Okt=vlγkt(i)∑Kk=1∑Tkt=1γkt(i)=∑Kk=11Pk∑Tkt=1,Ot=vlαkt(i)βkt(i)∑Kk=11Pk∑Tkt=1αkt(i)βkt(i)(110)
πi不需要重新估计,因为π1=1,πi=0,i≠1。
(109)-(110)在实际中是不可行的,因为我们没有进行放大。进行放大后的估计公式为:
aij¯=∑Kk=11Pk∑Tk−1t=1[α^kt(i)aijbj(Okt+1)β^kt+1(j)]/CkT∑Kk=11Pk∑Tk−1t=1[α^kt(i)β^kt(i)]/(cktCkT)=∑Kk=1∑Tk−1t=1α^kt(i)aijbj(Okt+1)β^kt+1(j)∑Kk=1∑Tk−1t=1α^kt(i)β^kt(i)/ckt(111a)
里用到了PkCkT=1。通过放大,Pk项也被消掉了。对b¯j(l)也有类似的结果。
相关文章推荐
- HMM经典介绍论文【Rabiner 1989】翻译(一)——介绍
- HMM经典介绍论文【Rabiner 1989】翻译(二)——离散Markov过程
- HMM经典介绍论文【Rabiner 1989】翻译(十)——连续观测密度
- HMM经典介绍论文【Rabiner 1989】翻译(十八)——参数初始化
- HMM经典介绍论文【Rabiner 1989】翻译(十六)——放大
- HMM经典介绍论文【Rabiner 1989】翻译(七)——预测问题
- HMM经典介绍论文【Rabiner 1989】翻译(三)——抛硬币实验和碗中的球实验
- HMM经典介绍论文【Rabiner 1989】翻译(四)——HMM的五个基本元素
- HMM经典介绍论文【Rabiner 1989】翻译(五)——HMM的三个基本问题
- HMM经典介绍论文【Rabiner 1989】翻译(六)——概率计算问题
- HMM经典介绍论文【Rabiner 1989】翻译(九)——HMM的类型
- HMM经典介绍论文【Rabiner 1989】翻译(八)——学习问题
- 砥志研思SVM(四) 序列最小最优化算法(SMO)论文翻译
- 介绍CK+数据库的论文翻译
- perl应用:DNA序列翻译(下):从fasta格式中读取序列,然后输出蛋白质序列,以及fasta格式的介绍
- [Berkeley]弹性分布式数据集RDD的介绍(RDD: A Fault-Tolerant Abstraction for In-Memory Cluster Computing 论文翻译)
- fast-rcnn论文翻译
- php数组函数序列 之shuffle()和array_rand() 随机函数使用介绍
- 神经网络机器翻译模型介绍