python机器学习案例系列教程——极大似然估计、EM算法

全栈工程师开发手册 （作者：栾鹏）

python数据挖掘系列教程

极大似然

极大似然（Maximum Likelihood）估计为用于已知模型的参数估计的统计学方法。

也就是求使得似然函数最大的代估参数的值。而似然函数就是如果参数已知则出现样本结果的概率。

比如，我们想了解抛硬币是正面（head）的概率分布θ θ；那么可以通过最大似然估计方法求得。

θ^=argmaxxl(θ)=argmaxxθ8(1−θ)2

其中，l(θ)为观测变量序列的似然函数。

求解使似然函数最大的代估参数，常规的做法就是对似然函数求导，求使导数为0的自变量的值，以及左右边界线的值。

例如

对l(θ)求偏导

∂l(θ)∂θ=θ7(1−θ)(8−10θ)⇒θ^=0.8

但是如果似然函数不是凹函数（concave），求解极大值困难。一般地，使用与之具有相同单调性的log-likelihood，如图所示也就是将似然函数求log。



所谓的凹函数和凸函数，凹函数斜率逐渐减小，凸函数斜率逐渐增大。所以凹函数“容易”求解极大值（极值为0时），凸函数“容易”求解极小值（极值为0时）。

EM算法

EM算法（Expectation Maximization）是在含有隐变量（latent variable）的模型下计算最大似然的一种算法。所谓隐变量，是指我们没有办法观测到的变量。比如，有两枚硬币A、B，每一次随机取一枚进行抛掷，我们只能观测到硬币的正面与反面，而不能观测到每一次取的硬币是否为A；则称每一次的选择抛掷硬币为隐变量。

用Y表示观测数据，Z表示隐变量；Y和Z连在一起称为完全数据( complete-data )，观测数据Y又称为不完全数据(incomplete-data)。观测数据的似然函数：

P(Y|θ)=∑zP(Z|θ)P(Y|Z,θ)

求模型参数的极大似然估计：

θ^=argmaxxlogP(Y|θ)

因为含有隐变量，此问题无法求解。因此，Dempster等人提出EM算法用于迭代求解近似解。

所以EM算法是一种特殊情况下的最大似然求解方法。

EM算法比较简单，分为两个步骤：

E步（E-step），以当前参数θ(i) 计算Z的期望值。因为期望值中不再包含未知的隐含变量Z，所以是可以计算的。

Q(θ,θ(i))=EZ[logP(Y,X|θ)|Y,θ(i)]

M步（M-step），求使Q(θ,θ(i))极大化的θ，确定第i+1次迭代的参数的估计值θ(i+1)

θ(i+1)=argmaxθQ(θ,θ(i))

如此迭代直至算法收敛。

案例

如图所示，有两枚硬币A、B，每一个实验随机取一枚抛掷10次，共5个实验，我们可以观测到每一次所取的硬币，估计参数A、B为正面的概率θ=(θA,θB) ，根据极大似然估计求解。



如果我们不能观测到每一次所取的硬币，只能用EM算法估计模型参数，算法流程如图所示：



隐变量Z为每次实验中选择A或B的概率，并初始化A为正面的概率为0.6，B为正面的概率为0.5。实验进行了5次。每次都要进行一遍EM操作。每次都要计算隐含变量。A出现的概率，B出现的概率。然后更新代估参数θA和θB的值。

在初始化θA=0.6和θB=0.5后第一次实验后计算隐含变量（选择A的概率）为

P(z1=A|y1,θ0)=P(z1=A|y1,θ0)P(z1=A|y1,θ0)+P(z1=B|y1,θ0)=0.65∗0.450.65∗0.45+0.510=0.45

按照上面的计算方法可依次求出其他隐含变量Z，然后计算极大化的θ(i)。经过10次迭代，最终收敛。