EM算法

摘要: 介绍EM算法的博客很多，但是这些博客的讲解并不详尽具体。笔者结合各个博客的介绍、《统计学习方法》、斯坦福机器学习讲义来介绍下EM算法。

1. 一个简单的例子

假设有3枚硬币，分别记作A，B，C。这些硬币正面出现的概率分别为π，p 和 q。进行如下掷硬币试验：首先掷硬币A，根据其结果选出硬币B或硬币C，正面选硬币B，反面选硬币C；然后掷选出的硬币，掷硬币的结果出现正面记作1，出现反面记作0；独立重复n次试验（这里，n=10），观测结果如下：
1,1,0,1,0,0,1，0,1,1
假设只能观测到掷硬币的结果，不能观测掷硬币的过程。问如何估计三硬币正面出现的概率，即三硬币模型的参数。
解 三模型可以写作