LDA论文学习笔记

以下内容节选自David M. Blei的论文《Latent Dirichlet Allocation》主要是选自LDA的处理流程部分，可能理解上有很大的偏差，或者表达上有问题，如有误导还想大家多多指教。

LDA原始论文链接为：http://www.jmlr.org/papers/volume3/blei03a/blei03a.pdf

LDA中关于词，文档，语料的定义：

1． 词（word）是基本的离散数据单元，对词的展示是使用向量，如果词典里面有对应的某个词，则为1，否则为0。

2． 文档是N个词的序列，和上面的词有直接的关系，用w表示。

3． 语料是M个文档的集合，用D表示。

LDA的目标是找一个概率模型的语料集合，不仅将高概率的词分配给语料的成员，还将高概率的词分配给相似的文档。LDA是语料的生成概率模型，他的基本思想是文档是一些潜在的主题的随机组合，并且主题在词上也满足一定的分布。

对于语料D中的每一个文档w，LDA按如下的处理流程：

1．根据Poisson分布选择词N

2．根据Dirichlet分布选择主题cita

3．对每个文档w(下标n)中的词

(a) 从满足多项式分页的cita中选择一个主题Z 。

(b) 在多项式的条件概率分布和主题的情况下选择文档w(下标n)的词。

以上的基本模型有以下的假设：

1. Dirichlet分布的维度k是可知并且不变的

2. 词的概率是一个固定的数值，并且是一个满足(k，V)的概率矩阵。

3. Poisson分布是一个假设分布，可以根据文档长度的的实际分布做调整。

4. 每个文档是相互独立于其它的数据生成变量cita和Z。

以下是对论文公式的注释