漫步数理统计三十一——依分布收敛

上篇博文我们介绍了依概率收敛的概念，利用着概念我们可以说统计量收敛到一个参数，而且在许多情况下即便不知道统计量的分布函数也能说明收敛。但是统计量有多接近估计量呢？本篇博文讲的收敛就回答了这个问题。

定义1：(依分布收敛){Xn}是一系列随机变量，X是随机变量。FXn,FX分别是Xn,X的cdf，令C(Fx)表示FX连续的点集合。我们说Xn依分布收敛到X，如果

limn→∞FXn(x)=FX(x),for all x∈C(FX)

表示为

Xn→DX

注1：在统计与概率论中，依概率收敛与依分布收敛称为渐进理论，我们经常说X是序列{Xn}的渐进分布或极限分布，或者我们不说Xn→DX，其中X满足标准正态分布，我们写为

Xn→DN(0,1)

显然右边是一个分布而不是随机变量，但是这么写非常方便。另外我们说Xn满足极限标准正态分布意味着Xn→DX，其中X满足标准正态分布，或等价的Xn→DN(0,1)。

之所以之考虑连续点也是有原因的，考虑下面的例子。Xn是随机变量，所有的质量在点1n处，其他地方均为0。如图所示Xn的质量收敛到0。在不连续点处，limFXn(0)=0≠1=FX(0)；而在连续点处(即x≠0)，limFXn(x)=FX(x)，因此根据定义Xn→DX。

依概率收敛说明的是一系列随机变量Xn接近另一个随机变量X，另一方面，依概率收敛只关心cdfFXn,FX。举个简单的例子，X是pdf为fX(x)的随机变量，它关于0对称；即fX(−x)=fX(x)。那么很容易说明−X的密度也是fX(x)，所以X,−Xyou相同的分布，定义随机变量Xn的序列为

Xn={X−Xn为奇数n为偶数

显然对所有的x,FXn(x)=FX(x)，所以Xn→DX，另一方面序列Xn不接近X，尤其是在概率上Xn↛X

例1：X¯n的cdf为

Fn(x¯)=∫x¯−∞11/n‾‾‾√2π‾‾‾√e−nw2/2dw

利用变量代换可得

Fn(x¯)=∫n√x¯−∞12π‾‾‾√e−v2/2dv

显然

limn→∞Fn(x¯)=⎧⎩⎨⎪⎪0121x¯<0x¯=0x¯>0

函数

F(x¯)={01x¯<0x¯≥0

是cdf且在所有F(x¯)的连续点limn→∞Fn(x¯)=F(x¯)，而在不连续点x¯=0,limn→∞Fn(0)≠F(0)。

例2：即便序列X1,X2,X3,…依分布收敛到随机变量X，我们一般不能通过取Xnpmf的极限确定X的分布，考虑下面的pmf

pn(x)={10x=2+n−1elsewhere

显然对所有的x,limn→∞pn(x)=0，这说明对n=1,2,3,…,Xn不会依概率收敛，然而Xn的cdf为

Fn(x)={01x<2+n−1x≥2+n−1

且

limn→∞Fn(x)={01x≤2x>2

因为

F(x)={01x<2x≥2

是cdf且在F(x)的所有连续点处limn→∞Fn(x)=F(x)，所以X1,X2,X3,…依分布收敛到cdf为F(x)的随机变量。

上面的例子说明一般而言我们不能考虑pmf或pdf来确定极限分布，但是在某些条件下确实可以的，如下例所示。

例3：Tn满足自由度为n的t分布，n=1,2,3,…，所以它的cdf为

Fn(t)=∫t−∞Γ[(n+1)/2]nπ‾‾‾√Γ(n/2)1(1+y2/n)(n+1)/2dy

其中积分函数为Tn的pdffn(y)，因此

limn→∞Fn(t)=limn→∞∫t−∞fn(y)dy=∫t−∞limn→∞fn(y)dy

由勒贝格控制收敛定理可知当|fn(y)|被一个可积函数控制时，积分与极限元算可以互换。因为

|fn(y)|≤10f1(y)

且对所有实数t

∫t−∞10f1(y)dy=10πarctant<∞

因此我们通过求出Tnpdf的极限求出极限分布。即

limn→∞fn(y)=limn→∞{Γ[(n+1)/2]n/2‾‾‾√Γ(n/2)}limn→∞{1(1+y2/n)1/2}×limn→∞⎧⎩⎨⎪⎪12π‾‾‾√[(1+y2n)]−n/2⎫⎭⎬⎪⎪

利用初等微积分的事实

limn→∞(1+y2n)n=ey2

第三部分显然时标准正态分布的pdf，第二项极限明显为1，根据斯特林公式可知第一项极限也为1，所以我们有

limn→∞Fn(t)=∫t−∞12π‾‾‾√e−y2/2dy

因此Tn满足极限标准正态分布。

注2：为了简化下面定理的证明，我们利用序列的lim⎯⎯⎯⎯⎯⎯,lim⎯⎯⎯⎯⎯⎯。具体细节这里不再讨论了，只给出理解下面证明所需要的一些性质，令{an}是实数序列且定义两个子序列为

bncn=sup{an,an+1,…},n=1,2,3,…=inf{an,an+1,…},n=1,2,3,…

{cn}是非减序列，{bn}是非增序列，因此他们的极限存在(可能是±∞)，我们分别用lim⎯⎯⎯⎯⎯⎯n→∞an,lim⎯⎯⎯⎯⎯⎯n→∞an表示，进一步对所有n,cn≤an≤bn，如果lim⎯⎯⎯⎯⎯⎯n→∞an=lim⎯⎯⎯⎯⎯⎯n→∞an，那么limn→∞an存在且为limn→∞an=lim⎯⎯⎯⎯⎯⎯n→∞an。

假设{pn}是概率序列且lim⎯⎯⎯⎯⎯⎯n→∞pn=0，因为0≤pn≤sup{pn,pn+1,…}，所以我们有limn→∞pn=0。另外对于任意序列{an},{bn}，满足lim⎯⎯⎯⎯⎯⎯n→∞(an+bn)≤lim⎯⎯⎯⎯⎯⎯n→∞an+lim⎯⎯⎯⎯⎯⎯n→∞bn。

如下面定理说述，依分布收敛比依概率收敛要弱，所以依分布收敛常被称为弱收敛。

定理1：如果Xn依概率收敛到X，那么Xn依分布收敛到X。

证明：令x是FX(x)的连续点，令ϵ>0我们有

FXn(x)=P[Xn≤x]=P[{Xn≤x}∩{|Xn−X|<ϵ}]+P[{Xn≤x}∩{|Xn−X|≥ϵ}]≤P[X≤x+ϵ]+P[|Xn−X|≥ϵ]

基于上面的不等式以及事实Xn→PX，我们可以看出

lim⎯⎯⎯⎯⎯⎯n→∞FXn(x)≤FX(x+ϵ)

为了得到下界，我们用同样的处理方式得到

P[Xn>x]≤P[X≥x−ϵ]+P[|Xn−X|≥ϵ]

因此

lim⎯⎯⎯⎯⎯⎯n→∞FXn(x)≥FX(x−ϵ)

根据lim⎯⎯⎯⎯⎯⎯,lim⎯⎯⎯⎯⎯⎯的关系可得

FX(x−ϵ)≤lim⎯⎯⎯⎯⎯⎯n→∞FXn(x)≤lim⎯⎯⎯⎯⎯⎯n→∞FXn(x)≤FX(x+ϵ)

令ϵ↓0即得到答案。||

考虑(1)中的随机变变量序列{Xn}，Xn→DX,Xn≠PX，所以一般情况下上面定理的逆不成立。然而如果X退化成下面定理的时候就成立。

定理2：如果Xn依分布收敛到常数b，那么Xn依概率收敛到b。

证明：令ϵ>0给定，那么

limn→∞P[|Xn−b|≤ϵ]=limn→∞FXn(b+ϵ)−limn→∞FXn(b−ϵ−0)=1−0=1

得证。||

下面定理非常有用：

定理3：假设Xn依分布收敛到X，Yn依概率收敛到0，那么Xn+Yn依分布收敛到X。

接下来给出两个一般的结论。

定理4：假设Xn依分布收敛到X且g在支撑X上是连续函数，那么g(Xn)依分布收敛到g(X)。

定理5：Xn,X,An,Bn是随机变量且a,b是常数，如果Xn→DX,An→Pa,Bn→Pb，那么

An+BnXn→Da+bX

与依分布收敛相关的另一个有用概念为随机变量序列依概率有界。

首先考虑cdf为FX(x)的随机变量X，那么给定ϵ>0，我们可以用下面的方式界定X。因为FX的下极限是0而上极限是1，所以我们可以找到η1,η2，使得

FX(x)<ϵ/2 for x≤η1, FX(x)>1−(η/2) for x≥η2

令η=max{|η1|,|η2|}，那么

P[|X|≤η]=FX(η)−FX(−η−0)≥1−(ϵ/2)−(ϵ/2)=1−ϵ

因此无界的随机变量(例如X是N(0,1))用上面的方式也是有界的，这是非常有用的概念，定义如下。

定义2：(依概率有界)我们说随机变量序列{Xn}依概率有界，如果对所有ϵ>0，存在常数Bϵ>0以及整数Nϵ使得

n≥Nϵ⇒P[|Xn|≤Bϵ]≥1−ϵ

现在考虑一个随机变量序列{Xn}，它收敛到cdf为F的随机变量X。令ϵ>0且选择η使得(2)对X成立，我们可以始终选出η使得η,−η是F的连续点，那么我们有

limn→∞P[|Xn|≤η]≥limn→∞FXn(η)−limn→∞FXn(−η−0)=FX(η)−FX(−η)≥1−ϵ

为了更精确，我们选择大的N使得n≥N时P[|Xn|≤η]≥1−ϵ。

定理6：{Xn}是随机变量序列且X是随机变量，如果依分布Xn→X，那么{Xn}依概率有界。

但是上面的逆一般不成立。可以将依概率有界的序列看成|Xn|的概率质量不会大到∞。

定理7：{Xn}是依概率有界的随机变量序列，{Yn}是依概率收敛到0的随机变量序列，那么

XnYn→P0

证明：令ϵ>0，选择Bϵ>0和整数Nϵ使得

n≥Nϵ⇒P[|Xn|≤Bϵ]≥1−ϵ

那么

lim⎯⎯⎯⎯⎯⎯n→∞P[|XnYn|≥ϵ]≤lim⎯⎯⎯⎯⎯⎯P[|XnYn|≥ϵ,|Xn|≤Bϵ]+lim⎯⎯⎯⎯⎯⎯n→∞P[|XnYn|≥ϵ,|Xn|>Bϵ]≤lim⎯⎯⎯⎯⎯⎯n→∞P[|Yn|≥ϵ/Bϵ]+ϵ=ϵ

得证。||