概率分布

常见的概率分布，其中E表示期望，var表示方差，mode表示众数，H表示熵。

1.伯努利分布

单一二元变量x∈{0,1}的分布，例如，抛硬币的结果。它由一个连续参数

∈[0,1]控制，这个参数表示x = 1的概率。



伯努利分布式二项分布对于单一观测的特殊情况。它对于

的共轭先验是Beta分布。

2.Beta分布

连续变量

∈[0,1]的分布，经常用于表示某些二元事件的概率。它有两个参数a和b.为了保证分布能够归一化，我们要求a>0并且b>0。



Beta分布式伯努利分布的共轭先验，其中a和b可以分别表示为x=1和x=0的观测的有效先验数量。如果a>=1且b>=1,那么它的概率密度是有限值，否则在

=0和（或）

=1处会有奇异值。对于a=b=1的情况，它就简化成了均匀分布。Beta分布式K状态狄利克雷分布在K=2的特殊情况。

3.二项分布

二项分布给出了来自伯努利分布的N个样本中观察到m次x=1的概率。伯努利分布中，观察到x=1的概率是

∈[0,1]。



二项分布中N=1这一特殊情形被称为伯努利分布，对于大的N值，二项分布近似于高斯分布。

的共轭先验是Beta分布。

4.狄利克雷分布

狄利克雷分布式K个随机变量

的多变量分布

其中

。

记

,

我们有



其中


并且


这里


被称为digamma函数。为了保证概率归一化，参数

满足限制

>0

狄利克雷分布式多项式分布的共轭先验，是Beta分布的推广。这种情况下，参数

是K维二元观测向量x对应值的有效观测数量。和Beta分布相同，如果对于所有的k都有

>=1,那么狄利克雷分布在空间中所有位置的密度均为有限值。

5.Gamma分布

Gamma分布式正随机变量

>0的概率分布，参数为a和b，满足限制a>0和b>0,保证概率分布式归一化的。



其中，

是

定义的digamma函数。Gamma分布是单变量高斯分布（方差倒数）的共轭先验。当a >= 1时，概率密度处处为有限值，a=1这一特殊情况被称为指数分布。

6.高斯分布

高斯分布式连续变量中最广泛使用的概率分布。它也被称为正态分布。在一元变量x∈（-∞，+∞）的情况下，它由两个参数控制：均值

∈（-∞，+∞）和方差

>0。



方差的倒数

被称为精度，方差的平方根

被称为标准差。

的共轭先验是高斯分布，

的共轭先验是Gamma分布。如果

和

都是未知的，那么他们的联合共轭先验是高斯-Gamma分布

7.多项式分布

多项式分布是二项分布对于多元变量的推广，给出一个具有K个状态的离散变量在总计N次观测中状态k的次数

的分布。



其中,


并且,


给出了把N个相同的物体中的

个放到箱子k中的方案总数，其中k=1,2,….,K。

的值给出了随机变量处于k状态的概率，因此必须满足

。参数

的共轭先验是狄利克雷分布。

8.均匀分布

连续变量x的一种简单分布。x定义在有限区间x∈[a,b],且b > a。



如果x服均匀分布U(x|0,1),那么a+(b-a)x服从均匀分布U(x|a,b)。

接下来的数理统计中非常常见的三大分布，都是连续型

9.

分布

定义

设

为n个（n>=1）相互独立的随机变量，它们都服从标准正态分布N(0,1).

,则随机变量Y的分布称为自由度为n的

分布。记为

(n)。

概率密度



利用伽马函数，容易验证


定理

设X与Y是相互独立的随机变量，且X~

(m),Y~

(n),则Z = X+ Y ~

(m+n)

10.学生t分布

在一元变量的形式下，学生t分布可以通过下列方式获得：拿出一元高斯分布的精度的共轭先验，然后把精度变量积分出来。因此这个分布可以看成无限多个有着相同均值不同方差的高斯分布的混合。



这里

>0被称为分布的自由度数量。

=1的特殊情况被叫做柯西分布

对于一个D维变量x，学生t分布是将多元高斯的精度矩阵关于共轭Wishart先验积分的结果。形式为



其中，

是平方马氏距离，定义为


在极限

→∞的情况下，t分布简化为均值

，精度为

的高斯分布。学生t分布提供了对高斯分布泛化的一种形式，这种分布的最大似然参数对离群点比较鲁棒。

11.F分布

定义

设随机变量X，Y相互独立，且X~

(

),Y~

(

),则称随机变量



所服从的分布为第一自由度为

，第二自由度为

的F分布，记为F(

,

)。

性质.





参考文献

1.PRML

2.图片资源来自于网络