主题模型相关的几个概念

一 基本概念

    （1）概率密度函数、分布率与分布函数
         例图：   


          概率密度函数（probability density function, PDF）f(x) 是连续型随机变量的概念，是指在某个确定的点（x）附近的可能性的函数

（2）分布率

    分布率是针对离散型随机变量的概念。  P{X = xk} = pk, k = 1,2,3...

 (3) 分布函数

  分布函数：   


    连续型随机变量的分布函数：   

二 贝叶斯定理

        假设有一所学校，学生中60%是男生和40%是女生。女生穿裤子与裙子的数量相同；所有男生穿裤子。现在有一个观察者，随机从远处看到一名学生，因为很远，观察者只能看到该学生穿的是裤子，但不能从长相发型等其他方面推断被观察者的性别。那么该学生是女生的概率是多少？

用事件 G 表示观察到的学生是女生，用事件 T 表示观察到的学生穿裤子。于是，现在要计算的是条件概率 P(G|T) ，我们需要知道：

P(G) 表示一个学生是女生的概率。由于观察者随机看到一名学生，意味着所有的学生都可能被看到，女生在全体学生中的占比是
40% ，所以概率是 P(G)=0.4 。注意，这是在没有任何其他信息下的概率。这也就是先验概率。后面我们还会详细讨论。

P(B) 是学生不是女生的概率，也就是学生是男生的概率，这同样也是指在没有其他任何信息的情况下，学生是男生的先验概率。 B 事件是 G 事件的互补的事件，于是易得 P(B)=0.6 。

P(T|G) 是在女生中穿裤子的概率，根据题目描述，女生穿裙子和穿裤子各占一半，所以 P(T|G)=0.5 。这也就是在给定 G 的条件下，T 事件的概率。

P(T|B) 是在男生中穿裤子的概率，这个值是1。

P(T) 是学生穿裤子的概率，即任意选一个学生，在没有其他信息的情况下，该名学生穿裤子的概率。根据全概率公式 P(T)=P(T|G)P(G)+P(T|B)P(B) ，计算得到 P(T)=0.5×0.4+1×0.6=0.8。

基于以上所有信息，如果观察到一个穿裤子的学生，并且是女生的概率是 

P(G|T)=P(T|G)P(G)/P(T)=0.5×0.4÷0.8=0.25.

三 先验知识，先验概率，似然函数与后验概率

   （1）先验知识与后验知识：
           先验知识：不需要经验，只依赖推理即可得出。举例：如果乔治至少在位四天，那么他在位的时间多于三天。我们可以先验的知道这是一个真命题
           后验知识：需要经验的。举例：乔治在位的时间是1910年到1936年。这是一个必须后验才能确认为真的命题 
     （2）先验概率

        在贝叶斯统计中，先验概率分布，即关于某个变量 X 的概率分布，是在获得某些信息或者依据前，对 X 之不确定性所进行的猜测。这是对不确定性（而不是随机性）赋予一个量化的数值的表征，这个量化数值可以是一个参数，或者是一个潜在的变量。

先验概率仅仅依赖于主观上的经验估计，也就是事先根据已有的知识的推断。例如， X 可以是投一枚硬币，正面朝上的概率，显然在我们未获得任何其他信息的条件下，我们会认为 P(X)=0.5；再比如上面例子中的，P(G)=0.4。

在应用贝叶斯理论时，通常将先验概率乘以似然函数（Likelihood Function）再归一化后，得到后验概率分布，后验概率分布即在已知给定的数据后，对不确定性的条件分布。

      （3） 似然函数(Likelihood function):

似然函数（也称作似然），是一个关于统计模型参数的函数。也就是这个函数中自变量是统计模型的参数。对于观测结果 x ，在参数集合 θ 上的似然，就是在给定这些参数值的基础上，观察到的结果的概率 (θ)=P(x|θ) 。也就是说，似然是关于参数的函数，在参数给定的条件下，对于观察到的 x的值的条件分布
     （4）后验概率：

          在贝叶斯统计中，一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率。例如上面例子，在"女生穿裤子和穿裙子的人数相等，所有男生穿裤子"的证据下的概率就是后验概率。可见后验概率是条件概率

四  4个分布

      （1）二项分布
               伯努利分布，又成为两点分布或0-1分布，是一个离散型的随机分布，随机变量只取两类值，即非正即负
                二项分布即重复n次伯努利实验，记为 X~b(n, p)
        (2)  多项分布
               将二项分布扩展到多维的情况，即随机变量有多种离散值可取，例如投掷6个面的骰子
      （3）Beta分布和狄利克雷分布
               参考另一篇博客：http://blog.csdn.net/leiting_imecas/article/details/53493116