漫步数理统计十七——条件分布与期望

前面我们介绍了一对随机变量的联合概率分布，也说明了如何从联合分布中恢复出单个随机变量(边缘)的分布。现在我们讨论条件分布，即其他随机变量假设为特定值，求一个随机变量的分布，首先讨论离散情况。

令X1,X2表示离散随机变量，联合pmf为pX1,X2(x1,x2)，其在支撑集S上是正的，其他地方为零。令pX1(x1),pX2(x2)分别表示X1,X2的边缘概率密度函数，x1是X1支撑中的点；因此pX1(x1)>0，利用条件概率定义，对于X2支撑SX2中的所有x2，我们有

P(X2=x1|X1=x1)=P(X1=x1,X2=x2)P(X1=x1)=pX1,X2(x1,x2)pX1(x1)

将这个函数定义为

pX2|X1(x2|x1)=pX1,X2(x1,x2)pX1(x1),x2∈SX2

对于任意满足pX1(x1)>0的固定x1，函数pX2|X1(x2|x1)满足离散pmf的条件，因为pX2|X1(x2|x1)是非负的且

∑x2pX2|X1(x2|x1)=∑x2pX1,X2(x1,x2)pX1(x1)=1pX1(x1)∑x2pX1,X2(x1,x2)=pX1(x1)pX1(x1)=1

我们称pX2|X1(x2|x1)是给定离散随机变量X1=x1的条件下，离散随机变量X2的条件pmf。同样的，假设x2∈SX2，我们将符号pX1|X2(x1|x2)定义为

pX1|X2(x1|x2)=pX1,X2(x1,x2)pX2(x)2),x1∈SX1

我们称pX1|X2(x1|x2)是给定离散随机变量X2=x2的条件下，离散随机变量X1的条件pmf。我们常将pX1|X2(x1|x2)缩写成p1|2(x1|x2)，pX2|X1(x2|x1)缩写成p2|1(x2|x1)，同样的p1(x1),p2(x2)分别表示边缘pmf。

现在令X1,X2表示连续随机变量且联合pdf为fX1,X2(x1,x2)，边缘概率密度函数分别为fX1(x1),fX2(x2)，我们将使用前面的结论来推出连续随机变量的条件pdf，当fX1(x1)>0时，我们将符号fX2|X1(x2|x1)定义为

fX2|X1(x2|x1)=fX1,X2(x1,x2)fX1(x1)

在这个关系中，可将x1看成是满足fX1(x1)>0的固定值(但是是任意固定的)，很明显fX2|X1(x2|x1)是非负的且

∫∞−∞fX2|X1(x2|x1)dx2=∫∞−∞fX1,X2(x1,x2)fX1(x1)dx2=1fX1(x1)∫∞−∞fX1,X2(x1,x2)dx2=1fX1(x1)fX1(x1)=1

即fX2|X1(x2|x1)满足连续随机变量pdf的性质，我们称它为给定连续随机变量X1的值x1时，连续随机变量X2的条件pdf。当fX2(x2)>0，给定连续随机变量X2的值x2时，连续随机变量X1的条件pdf定义为

fX1|X2(x1|x2)=fX1,X2(x1,x2)fX2(x2),fX2(x2)>0

我们常将这些条件pdf缩写成f1|2(x1|x2),f2|1(x2|x1)，同样的f1(x1),f2(x2)将分别表示边缘pdf。

因为f2|1(x2|x1),f1|2(x1|x2)是随机变量的pdf，每个都满足pdf的性质，所以我们可以计算概率以及数学期望，如果随机变量是连续形的，那么概率

P(a<X2<b|X1=x1)=∫baf2|1(x2|x1)dx2

称为给定X1=x1,a<X2<b的条件概率，在不引起歧义的情况下，我们可以写成P(a<X2<b|x1)。同样的，给定X2=x2,c<X1<d的条件概率为

P(c<X1<d|X2=x2)=∫dcf1|2(x1|x2)dx1

如果u(X2)是x2的函数，那么给定X1=x1,u(X2)的条件期望(如果存在的话)为

E[u(X2)|x1]=∫∞−∞u(x2)f2|1(x2|x1)dx2

特别地，如果他们存在的话，那么E(X2|x1)与E{[X2−E(X2|x1)]2|x1}分别表示给定X1=x1后X2条件分布的均值与方差，方差可以简写为var(X2|x1)，从之前的结论我们知道

var(X2|x1)=E(X22|x1)−[E(X2|x1)]2

同样的，给定X2=x2，u(X1)的条件期望(如果存在的话)为

E[u(X1)|x2]=∫∞−∞u(x1)f1|2(x1|x2)dx1

对于离散随机变量，只需要将积分符号变成求和符号即可，如下面例子所示。

例1：X1,X2的联合pdf为

f(x1,x2)={200<x1<x2<1elsewhere

那么边缘概率密度函数分别是

f1(x1)={∫1x12dx2=2(1−x1)00<x1<1elsewhere

和

f2(x2)={∫x202dx1=2x200<x2<1elsewhere

给定X2=x2,0<x2<1，X1的条件pdf为

f1|2(x1|x2)={22x2=1x200<x1<x2elsewhere

这里给定X2=x2，X1的条件均值与条件期望分别为

E(X1|x2)=∫∞−∞x1f1|2(x1|x2)dx1=∫x20x1(1x2)dx1=x22, 0<x2<1

和

var(X1|x2)=∫x20(x1−x22)2(1x2)dx1=x2212, 0<x2<1

最后，我们将计算

P(0<X1<12|X2=34)p(0<X1<12)

的值，我们有

P(0<X1<12|X2=34)=∫1/20f1|2(x1|34)=∫1/20(43)dx1=23

但是

P(0<X1<12)=∫1/20f1(x1)dx1=∫1/202(1−x1)dx1=34

因为E(X2|X1)是x1的函数，那么E(X2|X1)是随机变量，其有自己分布、期望与方差，现在举例说明这种情况。

例2：令X1,X2的联合pdf为

f(x1,x2)={6x200<x2<x1<1elsewhere

那么X1的边缘pdf为

f1(x1)=∫x106x2dx2=3x21, 0<x1<1

其余地方为零。给定X1=x1，X2的条件pdf为

f2|1(x2|x1)=6x23x21=2x2x21, 0<x2<x1

其余地方为零，其中0<x1<1。给定X1=x1，X2的条件均值为

E(X2|x1)=∫x10x2(2x2x21)dx2=23x1, 0<x1<1

现在E(X2|X1)=2X1/3是一个随机变量，用Y表示，那么Y=2X1/3的cdf为

G(y)=P(Y≤y)=P(X1≤3y2), 0≤y<23

根据f1(x1)的pdf我们有

G(y)=∫3y/203x21dx1=27y38, 0≤y<23

当然，如果y<0,G(y)=0，如果23<y,G(y)=1，Y=2X1/3的pdf、均值与方差为

g(y)=81y28, 0≤y<23

其余地方为零，

E(Y)=∫2/30y(81y28)dy=12

和

var(Y)=∫2/30y2(81y28)dy−14=160

因为X2的边缘pdf为

f2(x2)=∫1x26x2dx1=6x2(1−x2), 0<x2<1

其余地方为零，很容易说明E(X2)=12,var(X2)=120，即

E(Y)=E[E(X2|X1)]=E(X2)

和

var(Y)=var[E(X2|X1)]≤var(X2)

例2是个非常好的例子，因为它让我们回顾了求随机变量函数分布的cdf方法，而且最后两个等式不是偶然的，一般情况下就是为真。

定理1：(X1,X2)是随机向量，使得X2的方差是有限的，那么

E[E(X2|X1)]=E(X2)

var[E(X2|X1)]≤var(X2)

证明：这里证明的是连续情况，对于离散情况只需要将积分符号换成离散符号即可。首先证明(a)，注意

E(X2)=∫∞−∞∫∞−∞x2f(x1,x2)dx2dx1=∫∞−∞[∫∞−∞x2f(x1,x2)f1(x1)dx2]f1(x1)dx1=∫∞−∞E(X2|x1)f1(x1)dx1=E[E(X2|X1)]

接下里证明(b)，考虑μ2=E(X2)，

var(X2)=E[(X2−μ2)2]=E{[X2−E(X2|X1)+E(X2|X1)−μ2]2}=E{[X2−E(X2|X1)]2}+E{[E(X2|X1)−μ2]2}+2E{[X2−E(X2|X1)][E(X2|X1)−μ2]}

我们接下来说明右边的最后一项等于零，

2∫∞−∞∫∞−∞[x2−E(X2|x1)][E(X2|x1)−μ2]f(x1,x2)dx2dx1=2∫∞−∞[E(X2|x1)−μ2]{∫∞−∞[x2−E(X2|x1)]f(x1,x2)f1(x1)dx2}f1(x1)dx1

但是E(X2|x1)是给定X1=x1，X2的条件均值，因为大括号中的表达式等于

E(X2|x1)−E(X2|x1)=0

所以双重积分等于零，故我们有

var(X2)=E{[X2−E(X2|X1)]2}+E{[E(X2|X1)−μ2]2}

右边的第一项是非负的，因为它是非负函数即[X2−E(X2|X1)]2的期望，因为E[E(X2|X1)]=μ2，第二项为var[E(X2|X1)]，因此我们有

var(X2)≥var[E(X2|X1)]

得证。||

直观上这个结论有一个有用的解释，随机变量X2,E(X2|X1)均值均为μ2，如果我们不知道μ2，那么我们可以用这两个随机变量的任何一个来猜未知量μ2。然而因为var(X2)≥var[E(X2|X1)]，故我们更相信E(X2|X1)。即，如果我们观测到(X1,X2)，我们更愿意用E(X2|x1)来猜测未知量μ2，在之后研究估计中的充分统计量时，我们会利用这个结论。