DP混合模型参数分析（DPMM）

一般有限数目的混合模型，贝叶斯提供一种基于数据的既可以估计混合模型中多少个components的数量，又可以估计每个mixture components 的参数值的方法。

对于有限混合模型中数据（data x）的密度函数的形式：


,其中



G是一个涵盖了混合参数的一个离散分布，G 的右半部分delta(theta)是以theta为中心的一块（区域）。Theta可做如下理解：类似筷子被截成n段，每一段是一个delta(theta)，这一段的中心值是theta。

当DPMM被应用于有限数据训练时，先采用有限的components对数据建模，因为每一个数据元对应一个component，而一个component可以对应多个不同的数据元，类似多对一的映射。

建模完成后，我们现在需要反过来推理模型中components的数量以及构成components的参数。

在这里我们就需要用到贝叶斯参数分析方法。先假设G服从某先验分布，因为G 是一个离散的多元分布，所以大多数情况下，首先映入脑海的是DP（DIRICHLET PROCESS）.这也是为什么要叫做DP混合模型的原因之一。

参见下图，含有K个component的DP混合模型，筷子截断后的多段中心theta 服从一个先验的分布H（lambda），就是每一段的中心值对应分布中的某一个值，这里多个段，也可以理解为一个cluster；Pi是衡量delta(theta)的权值，是一个狄里克雷分布【注：狄里克雷过程是一个离散的，狄里克雷分布是连续的】；Z是隐藏指示变量（可参考GMM内变量的阐述），由Z引出每一个cluster里观察到X的值。N代表N个cluster，X1....Xn。图中，空心圆表示变量，阴影圆表示可观测量，圆角矩形表示参数或者基本分布（eg.alpha一般选择gamma分布），矩形框代表迭代循环，矩形框右下角的数字则代表迭代循环的次数。

注意图中，G
的表示方法和文中对G 的描述，因为G一般采用stick-breaking来理解，这里引入潜在的指示变量Z（latent indicator
variables）来表征取G中的某一个值，这个值的权值为Pi，用以衡量delta(theta)的大小。




，

，




Alpha 是一个测量参数或者一个分布，类似正态分布里的方差；H是一个基础测量值，类似正态分布里的均值。【IMPORTANT :::lamda=alpha*H】.

若对参数空间G进行划分，分为A1，...An，那么有（G（A1），...，G（An））~~~（alpha H(A1),....alpha H(An)）.

中餐馆过程可以很形象的帮助理解这个过程(CHINESE RESTAURANT PROCESS)。餐馆里有无数张桌子，这无数张桌子在实际中是用不完的，一般称为 countable infinite，我们在用到的有限数目的多少张桌子，这些桌子上分别都坐了多少个客人，新来的客人根据某些情况，以某种概率坐在已有的桌子上，或是另开辟一张新桌子。桌子的数目就和文中开篇提到的components保持对应，顾客就和parameters保持对应。