您的位置：首页 > 其它

EM算法之高斯混合模型详细推导过程

2014-05-27 13:19 197 查看

高斯混合模型

如果有c个高斯分布，并且这k个个高斯分布的选择都符合多项式分布，那么有下面的公式
$p(C_k) = \phi_k$

那么样本x 是一个服从多元高斯分布的随机试验中产生的抽样
$p(\mathbf{x_i}|C_k)\sim \frac{1}{(2\pi)^{\frac{d}{2}}\left | \sum_k \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}}$

那么可以写出关于样本值（第i个样本）的概率密度函数,假设一共c个类别
$p(\mathbf{x_i},\mathbf{C})=\sum_{j=0}^{c}p(C_j)p(\mathbf{x_i}|C_j)$

那么我们可以定义m个观测样本的对数似然函数
$log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C}) = \sum_{i=0}^{m}log(p(\mathbf{x_i},\mathbf{C}))$

$log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C}) = \sum_{i=0}^{m}log(\sum_{j=0}^{c}p(C_j)p(\mathbf{x_i}|C_j))$

对数复合函数求导公式

$\frac{\partial }{\partial x}log(f(x))=\frac{1}{f(x)}*\frac{\partial }{\partial x}f(x)$

代入上面的值进一步可以写成下面的式子

$log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C}) = \sum_{i=0}^{m}log(p(\mathbf{x_i},\mathbf{C}))\\\Rightarrow \frac{\partial }{\partial \mu_k}log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C})=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \mu_k}p(\mathbf{x_i},\mathbf{C})\\=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \mu_k}\sum_{j=0}^{c}p(C_j)p(\mathbf{x_i}|C_j)\\$

由于对第k个正态分布的均值求偏导，因此除第k个正态分布外，其他分部不包含第k个正态分布均值的信息，

$\\=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \mu_k}p(C_j)p(\mathbf{x_i}|C_j)\\$

$\\=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \mu_k}\sum_{j=0}^{c}p(C_j)p(\mathbf{x_i}|C_j)\\\\=\sum_{i=0}^{m}\frac{p(C_k)}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \mu_k}p(\mathbf{x_i}|C_k)\\$

再利用对数复合函数求导得到
$\\=\sum_{i=0}^{m}\frac{p(C_k)p(\mathbf{x_i}|C_k)}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \mu_i}log(p(\mathbf{x_i}|C_k))$

求和符号后面这一部分看出是什么了吗？这不是条件概率么？
$p(C_k|\mathbf{x_i})=\frac{p(C_k)p(\mathbf{x_i}|C_k)}{p(\mathbf{x_i},\mathbf{C})}$

整理得到

$\frac{\partial }{\partial \mu_k}log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C})=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\frac{\partial }{\partial \mu_k}log(p(\mathbf{x_i}|C_k))$

对多元正态分布函数取对数

$p(\mathbf{x_i}|C_k)\sim \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}}\\\\log p(\mathbf{x_i}|C_k)= log( \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}})\\\\=log( \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}})+log(e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}})\\\\=log( \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}})-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T{\sum}^{-1}\left ( \mathbf{x_i}-\mu_k \right )$

对多元正态分布函数取对数后求第k个分量均值的偏导数

$\frac{\partial }{\partial \mu_k}log(p(\mathbf{x_i}|C_k))=\frac{\partial }{\partial \mu_k}(log( \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}})-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T{\sum}^{-1}\left ( \mathbf{x_i}-\mu_k \right ))\\\\=\frac{\partial }{\partial \mu_k}(-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T{\sum}^{-1}\left ( \mathbf{x_i}-\mu_k \right ))$

如果令
$\mathbf{Y}=\mathbf{x_i}-\mu_k,\mu_k=\mathbf{x_i}-\mathbf{Y}$
,那么进一步得到

$\\\\=-\frac{1}{2}\frac{\partial }{\partial \mu_i}\left ( \mathbf{x_i}-\mu_k \right )^T{\sum}^{-1}\left ( \mathbf{x_k}-\mu_k \right )\\\\=-\frac{1}{2}\frac{\partial }{\partial\mathbf{Y}}\left(\mathbf{Y}^T{\sum}^{-1}\mathbf{Y}\right)\frac{\partial\mathbf{Y} }{\partial \mu_k}$

其中

$\frac{\partial }{\partial\mathbf{Y}}\left(\mathbf{Y}^T{\sum}^{-1}\mathbf{Y}\right)={\sum}^{-1}Y+({\sum}^{-1})^TY=\left ({\sum}^{-1}+({\sum}^{-1})^T \right )Y$

$\frac{\partial\mathbf{Y} }{\partial \mu_k}=\frac{\partial\left ( \mathbf{x_i}-\mu_k \right ) }{\partial \mu_k}=\frac{\partial \mathbf{x_i} }{\partial \mu_k}-\frac{\partial \mu_k }{\partial \mu_k}=0-1=-1$

将该结论代入上面的公式整理得到
$\\\frac{\partial }{\partial \mu_k}log(p(\mathbf{x_i}|C_k))=-\frac{1}{2}\left ( {\sum}^{-1}+\left ( {\sum}^{-1} \right )^T \right )Y\left ( -1 \right )\\\\=\frac{\left ( {\sum}^{-1}+\left ( {\sum}^{-1} \right )^T \right )\left ( \mathbf{x_i}-\mu_k \right )}{2}$

$\frac{\partial }{\partial \mu_k}log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C})=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\frac{\left ( {\sum}^{-1}+\left ( {\sum}^{-1} \right )^T \right )\left ( \mathbf{x_i}-\mu_k \right )}{2}$

我们要最大化释然函数，必然要求对各个估计参数的偏导要等于0

$\\\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ( {\sum}^{-1}+\left ( {\sum}^{-1} \right )^T \right )\left ( \mathbf{x_i}-\mu_k \right )=0\\\left ( {\sum}^{-1}+\left ( {\sum}^{-1} \right )^T \right )\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ( \mathbf{x_i}-\mu_k \right )=0$

其中
$\left ( {\sum}^{-1}+\left ( {\sum}^{-1} \right )^T \right )\neq 0$
,那么得到

$\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ( \mathbf{x_i}-\mu_k \right )=0$

解出

$\\\sum_{i=0}^{m}\left( p(C_k|\mathbf{x_i})\mathbf{x_i}-p(C_k|\mathbf{x_i})\mu_k \right )=0\\\\\sum_{i=0}^{m} p(C_k|\mathbf{x_i})\mathbf{x_i}=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\mu_k\\\\\sum_{i=0}^{m} p(C_k|\mathbf{x_i})\mathbf{x_i}=\mu_k\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\\\\\mu_k=\frac{\sum_{i=0}^{m} p(C_k|\mathbf{x_i})\mathbf{x_i}}{\sum_{i=0}^{m}p(C_k|\mathbf{x_i})}\\\\$

下面对第K个分量的方差求偏导

$log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C}) = \sum_{i=0}^{m}log(p(\mathbf{x_i},\mathbf{C}))\\\\\frac{\partial }{\partial \sum_k}log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C})=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \sum_k}p(\mathbf{x_i},\mathbf{C})\\\\=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \sum_k}\sum_{j=0}^{c}p(C_j)p(\mathbf{x_i}|C_j)\\$

第k个分量更其他的不相关，因此对第k个分量求方差的偏导有下面的公式

$\frac{\partial }{\partial \sum_k}log L(\boldsymbol{\mu},\boldsymbol{\sum},\mathbf{C})=\sum_{i=0}^{m}\frac{1}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \sum_k}p(C_k)p(\mathbf{x_i}|C_k)\\\\=\sum_{i=0}^{m}\frac{p(C_k)}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \sum_k}p(\mathbf{x_i}|C_k)\\\\=\sum_{i=0}^{m}\frac{p(C_k)p(\mathbf{x_i}|C_k)}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \sum_k}logp(\mathbf{x_i}|C_k)\\$

$\\log p(\mathbf{x_i}|C_k)= -log( 2\pi^{\frac{d}{2}}\left | \sum_k \right |^{\frac{1}{2}})-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T{\sum}_{k}^{-1}\left ( \mathbf{x_i}-\mu_k \right )\\\\\frac{\partial }{\partial \boldsymbol{\sum_k}}log(p(\mathbf{x_i}|C_k))=\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( -log( 2\pi^{\frac{d}{2}}\left | \sum_k \right |^{\frac{1}{2}}) \right )-\frac{1}{2}\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )\\\\=\frac{\partial }{\partial \boldsymbol{\sum_k}}\left (-log\left ( 2\pi^{\frac{d}{2}}\right )-\frac{1}{2}log(\left | \sum_k \right |) \right )-\frac{1}{2}\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )$

$=\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( -\frac{1}{2}log(\left | \sum_k \right |) \right )-\frac{1}{2}\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )\\\\$

利用如下公式

$\frac{d}{dA}log\left|A \right |=(A^{-1})^T$

$=-\frac{1}{2}({{\sum}}_k^{-1})^T-\frac{1}{2}\frac{\partial }{\partial \boldsymbol{\sum_k}}\left (\left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )\\\\$

由于
$\left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )$
是标量，因此标量的迹等于自己，得到下面的公式
$\left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )=tr\left ( \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )$

再利用迹的性质
$\\tr\left ( ABC \right )=tr\left ( CAB \right )=tr\left ( BCA \right )\\\\\frac{dtr(BA)}{dA}=B^T\\\frac{d tr\left ( A^{-1}B \right )}{dA}=-\left ( A^{-1}\right )^TB\left ( A^{-1} \right )^T$

那么利用这个策略可以得到下面的结论
$\\\left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )=tr\left (\left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1} \right )$

$\\\left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )=tr\left (\left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1} \right )=tr\left ( {{\sum}}_k^{-1}\left (\mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )$

$\\\frac{\partial }{\partial {\sum}_k}\left ( \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )=\frac{\partial }{\partial {\sum}_k}tr\left ( {{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )$

$\\\\=-\left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T \right )$

经过这么多的计算后，终于可以得到对第k个分量求协方差的偏导了

$\\\frac{\partial }{\partial \boldsymbol{\sum_k}}log(p(\mathbf{x_i}|C_k))=\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( -\frac{1}{2}log(\left | \sum_k \right |) \right )-\frac{1}{2}\frac{\partial }{\partial \boldsymbol{\sum_k}}\left ( \left ( \mathbf{x_i}-\mu_k \right )^T{{\sum}}_k^{-1}\left ( \mathbf{x_i}-\mu_k \right ) \right )$

$\\\\=-\frac{1}{2}\left ( {{\sum}}_k^{-1} \right )^T- \frac{1}{2}\left ( -\left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T \right ) \right )$

$\\\\=\frac{1}{2}\left ( \left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T-\left ({{\sum}}_k^{-1} \right )^T \right ) \right )\\\\$

那么似然函数对第k个分量的协方差的偏导如下：

$\\\sum_{i=0}^{m}\frac{p(C_k)p(\mathbf{x_i}|C_k)}{p(\mathbf{x_i},\mathbf{C})}\frac{\partial }{\partial \sum_k}logp(\mathbf{x_i}|C_k)\\\\=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\frac{\partial }{\partial \sum_k}logp(\mathbf{x_i}|C_k)\\\\=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ( \frac{1}{2}\left ( \left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T-\left ({{\sum}}_k^{-1} \right )^T \right ) \right ) \right )\\\\=\frac{1}{2}\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( \left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T-\left ({{\sum}}_k^{-1} \right )^T \right ) \right )\\\\$

要使得似然函数取最大，就要使得对协方差的偏导为0，那么有如下结论：

$\\\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( \left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T-\left ({{\sum}}_k^{-1} \right )^T \right ) \right )\\\\=\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T-\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ({{\sum}}_k^{-1} \right )^T \right ) \\\\$

因为对协方差的偏导为0，那么有下面结论
$\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( {{\sum}}_k^{-1} \right )^T\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )^T=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ({{\sum}}_k^{-1} \right )^T \right ) \\\\$

这里的协方差是一个实对称正，因此其转置等于自身，为什么是对称的呢？

对上面式子左乘和右乘一个协方差阵得到：

$\\\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( {{\sum}}_k^{-1} \right )\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )\left ( {{\sum}}_k^{-1} \right )=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})\left ({{\sum}}_k^{-1} \right ) \\\\\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( {{\sum}}_k^{-1} \right )\left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )=\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \\\\\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )={{\sum}}_k \sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \\\\$

那么可以得到如下关于协方差的值，使得释然函数最大
${{\sum}}_k=\frac{\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )}{\sum_{i=0}^{m}p(C_k|\mathbf{x_i})} \\\\$

到这里已经把混合高斯分布关于均值和协方差的参数值求出来了，下面还剩一个关于k个分量的比例的问题了

$\\\\log p(\mathbf{x_i}|C_k)=log( \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}})-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T{\sum}^{-1}\left ( \mathbf{x_i}-\mu_k \right )$

现在来看在各个分量的条件下要使得释然函数最大，这是一个优化问题

$\left\{\begin{matrix}L\left ( \boldsymbol{\mu},\boldsymbol{\sum} ,\mathbf{C}\right )=\sum_{i=0}^{m}p(C_k|\mathbf{x_i})log(p(\mathbf{x_i}|C_k))\\ p(C_j)>0,j=1,2,\hdots,c;\\ \sum_{j=0}^cp(C_j)=1; \end{matrix}\right.$

那么需要利用拉格朗日方法来求关于分量的估计

构造拉格朗日目标函数如下：

$\\Lagrange = L\left ( \boldsymbol{\mu},\boldsymbol{\sum} ,\mathbf{C}\right )+\lambda \left ( \sum_{j=1}^c p(C_j)-1 \right )\\\frac{\partial Lagrange }{\partial p(C_k) } = \frac{\partial }{\partial p(C_k) }L\left ( \boldsymbol{\mu},\boldsymbol{\sum} ,\mathbf{C}\right )+\frac{\partial }{\partial p(C_k) }\lambda \left ( \sum_{j=1}^c p(C_j)-1 \right )\\\frac{\partial Lagrange }{\partial p(C_k) } = \frac{\partial }{\partial p(C_k) }L\left ( \boldsymbol{\mu},\boldsymbol{\sum} ,\mathbf{C}\right )+\lambda$

对拉格朗日目标函数求分量的偏导

$\\\frac{\partial }{\partial p(C_k) }L\left ( \boldsymbol{\mu},\boldsymbol{\sum} ,\mathbf{C}\right )=\frac{\partial }{\partial p(C_k) }\sum_{i=0}^mlog\left ( \sum_{j=0}^cp(C_j)p(\mathbf{x_i}|C_j) \right )\\= \sum_{i=0}^m \frac{1}{\sum_{j=0}^cp(C_j)p(\mathbf{x_i}|C_j)}\frac{\partial }{\partial p(C_k) }\left ( \sum_{j=0}^cp(C_j) p(\mathbf{x_i}|C_j)\right )\\\\= \sum_{i=0}^m \frac{p(\mathbf{x_i}|C_k)}{\sum_{j=0}^cp(C_j)p(\mathbf{x_i}|C_j)} = \sum_{i=0}^m \frac{1}{p(C_k)}\frac{p(C_k)p(\mathbf{x_i}|C_k)}{\sum_{j=0}^cp(C_j)p(\mathbf{x_i}|C_j)}\\\\= \sum_{i=0}^m \frac{1}{p(C_k)}p(C_k|\mathbf{x_i}) \\\\$

上面是利用了对数求导的性质

那么要使得拉格朗日目标函数取得0，有下面的结论

$\\\frac{\partial Lagrange}{p(C_k)}= \sum_{i=0}^m \frac{1}{p(C_k)}p(C_k|\mathbf{x_i}) + \lambda=0 \\\\$

整理得到

$\\\frac{\partial Lagrange}{p(C_k)}= \sum_{i=0}^m \frac{1}{p(C_k)}p(C_k|\mathbf{x_i}) + \lambda=0 \\\\\\\sum_{i=0}^m p(C_k|\mathbf{x_i}) + \lambda p(C_k)=0 \\\sum_{i=0}^m p(C_k|\mathbf{x_i}) =- \lambda p(C_k) \\ \lambda =- \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{p(C_k) }$

由于有
$\\\sum_{j=0}^c p(C_j)=1$
条件，那么进一步得到

$\\ p(C_k) =- \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{\lambda } \\ \sum_{k=0}^c p(C_k) =\sum_{k=0}^c- \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{\lambda } \\ \sum_{k=0}^c p(C_k) = -\frac{1}{\lambda} \sum_{k=0}^c\sum_{i=0}^m p(C_k|\mathbf{x_i})=1\\ \lambda=- \sum_{k=0}^c\sum_{i=0}^m p(C_k|\mathbf{x_i})$

将这个结果带人第k个分量得到

$\\ p(C_k) =- \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{\lambda } \\ p(C_k) = \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{ \sum_{k=0}^c\sum_{i=0}^m p(C_k|\mathbf{x_i}) } \\\\ p(C_k) = \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{ m }$

其中

$p(C_k|\mathbf{x_i})=\frac{p(\mathbf{x_i}|C_k)p(C_k)}{\sum_{j=0}^c p(\mathbf{x_i}|C_j)p(C_j)}$

自此，得到了关于均值，协方差，和分量这三个参数的估计公式，总结如下

$\\\mu_k=\frac{\sum_{i=0}^{m} p(C_k|\mathbf{x_i})\mathbf{x_i}}{\sum_{i=0}^{m}p(C_k|\mathbf{x_i})}\\\\{{\sum}}_k=\frac{\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )}{\sum_{i=0}^{m}p(C_k|\mathbf{x_i})} \\\\ p(C_k) = \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{ m } \\\\p(C_k|\mathbf{x_i})=\frac{p(\mathbf{x_i}|C_k)p(C_k)}{\sum_{j=0}^c p(\mathbf{x_i}|C_j)p(C_j)}$

到这里，理论的推导似乎已经完成了，但是事情还没有结束
从上面的结论看，均值，方差阵，和分量概率的估计都用到了
$p(C_k|\mathbf{x_i})$
,这是估计一个点由某一个分量生成的概率
为了得到这个概率，我们又要用到
$p(\mathbf{x_i}|C_k)\sim \frac{1}{2\pi^{\frac{d}{2}}\left | \sum \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}}$

其中又包含了我们待估计的均值，方差阵等参数，这样就是会产生一个互相依赖的情况，鸡依赖蛋，蛋依赖鸡的问题，对这种问题，一般的解决办法先弄一个蛋来孵化一个鸡出来，然后在让这只鸡来孵化蛋，不管先出现那一个，后面的一个都是跟着相应的变化，最后得到答案来。

想一下坐标上升法里面的做法，先固定其他的量，求其中一个参数的最大值，然后依次轮换坐标来求最大，最后会得到一个
稳定的值，只不过这个极值是局部的，后面专门讲EM算法会专门讲这个问题，这里就先用这个思想来处理

现在来看看具体的求某一个点由某个分量生成的概率

$\\p(C_k|\mathbf{x_i})=\frac{p(\mathbf{x_i}|C_k)p(C_k)}{\sum_{j=0}^c p(\mathbf{x_i}|C_j)p(C_j)}\\\\p(C_k|\mathbf{x_i})=\frac{\frac{1}{2\pi^{\frac{d}{2}}\left | \sum_k \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}}\phi_k}{\sum_{j=0}^c \frac{1}{2\pi^{\frac{d}{2}}\left | \sum_j \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_j \right )^T\sum_j^{-1}\left ( \mathbf{x_i}-\mu_j \right )\}}\phi_j}$

为了让蛋孵鸡，鸡生蛋，我们需要先要弄一个蛋出来，这个蛋就是，均值，方差阵，分量概率的初始值
下面把流程总结一下

先构造一个鸡蛋出来
$\\ \phi_k = \frac{1}{k},\mu_k = \mathbf{I},{\sum}_k=\mathbf{I},k=1,2,...c,$

计算某个点由某个分量生成的概率（孵小鸡），直到收敛
$\\\\p(C_k|\mathbf{x_i})=\frac{\frac{1}{2\pi^{\frac{d}{2}}\left | \sum_k \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_k \right )^T\sum_k^{-1}\left ( \mathbf{x_i}-\mu_k \right )\}}\phi_k}{\sum_{j=0}^c \frac{1}{2\pi^{\frac{d}{2}}\left | \sum_j \right |^{\frac{1}{2}}}e^{\{-\frac{1}{2}\left ( \mathbf{x_i}-\mu_j \right )^T\sum_j^{-1}\left ( \mathbf{x_i}-\mu_j \right )\}}\phi_j}$

重新构造鸡蛋（鸡生蛋）

$\\\mu_k=\frac{\sum_{i=0}^{m} p(C_k|\mathbf{x_i})\mathbf{x_i}}{\sum_{i=0}^{m}p(C_k|\mathbf{x_i})}\\\\{{\sum}}_k=\frac{\sum_{i=0}^{m}p(C_k|\mathbf{x_i}) \left ( \left ( \mathbf{x_i}-\mu_k \right ) \left ( \mathbf{x_i}-\mu_k \right )^T \right )}{\sum_{i=0}^{m}p(C_k|\mathbf{x_i})} \\\\ \phi_k = p(C_k) = \frac{\sum_{i=0}^m p(C_k|\mathbf{x_i})}{ m }$

跳转到第二步

但是为了理解上得方便，这里给出一个二维情况下得例子
假设有3个分量，分别如下
$\\p(x_i|C_k) \sim \mathit{N}(\mu_1,\mu_2,\delta_1,\delta_2,\rho)\\\\\\p(x_i|C_1) \sim \mathit{N}(1,1,0.6,1.2,0.2)\\p(x_i|C_2) \sim \mathit{N}(2,3,1,1,-0.2)\\p(x_i|C_3) \sim \mathit{N}(1,4,2,2,0.5)$

注意事项：

1.

初始值的选择

分量要做归一化处理
均值可以随机产生
方差，需要保证是对称阵和行列式大于0,也就是正定阵，非奇异性
否则计算会错误

2. 样本点数小于特征数量
计算的协方差阵是奇异的，因此需要对协方差做相应的假设，比如是对角阵甚至是对角阵元素相同
这种假设过强，忽略了特征直接的依赖关系，当对角阵元素都相同的时候，就退化成特征直接是独立的了

因此可以考虑其他的如因子分析等方法
参考如下：
http://www.cnblogs.com/jerrylead/archive/2011/05/11/2043317.html

详细推导过程
http://www.cs.cmu.edu/~awm/doc/gmm-algebra.pdf

http://www.docin.com/p-110400201.html

http://en.wikipedia.org/wiki/Matrix_calculus

http://www.myexception.cn/software/968521.html

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签： EM 算法高斯混合

相关文章推荐

新的分享

章节导航