[置顶] 关于多元正态分布的条件概率密度

原文来师兄的博客：http://blog.csdn.net/wjj5881005/article/details/53320403

多元正态分布

多元正态分布的条件密度

多元正态分布

多元正态分布的密度函数如下 ：

fx(x1,...xn)=1(2π)k√|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ)) (1)

其对应的矩母函数（也有称动差函数）为exp(μTt+12tTΣt)。事实上，如果随机向量[X1,...Xn]满足上面的动差函数，那么我们就称随机向量[X1,...Xn]服从多元高斯分布。具体地证明可以看这里。

多元正态分布的条件密度

令随机向量[X1,...Xn]服从多元高斯分布。我们可以推导Xn在给定X1,...Xn−1的情况下的条件密度分布：

f(xn|x1,...,xn−1)=f(x1,...,xn−1,xn)f(x1,...,xn−1) (2)，

其中f(x1,...,xn)=(2π)−n/2(|Σ|−1/2)exp[−12∑ni,j=1yiqijyj] (3)

其中Q=Σ−1=[qij],yi=xi−μi。同样地，

f(x1,...,xn−1)=∫∞∞f(x1,...,xn−1,xn)dxn=B(y1,...,yn−1) (4).

现在我们将公式(3)中的求和项进行分解，有：

∑ni,j=1yiqijyj=∑n−1i,j=1yiqijyj+yn∑n−1j=1qnjyj+yn∑n−1i=1qinyj+qnny2n(5)

因此，最终地条件分布具有如下的形式：

A(y1,...,yn−1)B(y1,...,yn−1)exp[−(Cy2n+D(y1,...,yn−1)yn)] (6)

其中C=(1/2)qnn，因为Q=Σ−1是对称矩阵，所以D=∑n−1j=1qnjyj=∑n−1i=1qinyi.(6)式又可以进一步表示称如下的式子：

[ABexp(DD24C)]exp[−(yn+D2C)2]1C (7)

从公式(7)很容看出xn的条件密度函数是服从正态分布的。

所以条件分布的方差为：2Var(Xn|X1,...,Xn−1)=1/C，进一步有：Var(Xn|X1,...,Xn−1)=12C=1qnn

均值为：

E(Xn|X1,...,Xn−1)=μn−D2C=μn−1qnn∑n−1j=1qnj(Xj−μj)

这就说明了再抽样多元正态分布时，如果已知了其它维度的随机变量值，剩下的那个维度的随机变量也是服从正态分布。