What is the expectation maximization algorithm?

http://www.nature.com/nbt/journal/v26/n8/full/nbt1406.html



对于最大似然概率的推导可以参考本系列中的文章

也就是说要求的是抛硬币A是正面的概率p(A), 和抛硬币B是正面的概率p(B)

一共做了五组实验，其中三组是抛10次A，正面的次数。

对于这三组的现象的概率是 p(data|A)=p(h|A)*(1-p(h|a))...p(h|A)

两边去对数，让其导数为0， 就可以计算出p(h|A)

为什么要让概率最大？这是因为这三组实验的结果就是在p(h|A)的概率分布下最有可能出现的现象。

对于EM：

也是同样做了5组抛硬币的实验，但是对于每组实验不知道是用A或者B做的实验，目的还是求p(A), p(B)

1. 设初始概率为p(A)=0.6, p(B) = 0.5

2. E步，当第一组是用A实验，可以求出第一组现象出现的概率，再求出用B做实验，第一组现象出现的概率，然后就可以计算出第一组数据用A或者B做实验的概率，0.6^5*（1-0.6）^5/0.5^10 = 0.445/0.55

然后可以算出A和B出现正面的期望Exception

3. M步，根据E步算出的Exception计算出p(A),p(B), 根据的是最大(Maximization)期望对数似然