漫步数理统计二十七——t与F分布

本篇博文定义两个非常重要的分布，它们在一些统计推断问题中非常有用，也就是t分布与F分布。

令W表示满足N(0,1)分布的随机变量；V表示满足χ2(r)分布的随机变量；且W,V独立，那么W,V的联合pdf，表示为h(w,v)，就是W的pdf与V的pdf乘积，或者

h(w,v)={12π√e−w2/21Γ(r/2)2r/2vr/2−1e−v/20∞<w<∞,0<v<∞elsewhere

定义新的随机变量T为

T=WV/r‾‾‾‾√

利用变量替换方法可以得到T的pdfg1(t)。方程

t=wv/r‾‾‾√u=v

定义了一个变换，将={(w,v):−∞<w<∞,0<v<∞}一一映射到={(t,u):−∞<t<∞,0<u<∞}，因为w=tu‾‾√/r√,v=u，所以变换的雅可比绝对值为||=u‾‾√/r√，所以T,U=V的联合pdf为

g(t,u)=h(tu‾‾√r√,u)||={12π√Γ(r/2)2r/2ur/2−1exp[−u2(1+t2r)]u√r√0|t|<∞,0<u<∞elsewhere

T的边缘pdf为

g1(t)=∫∞−∞g(t,u)du=∫∞012πr‾‾‾‾√Γ(r/2)2r/2u(r+1)/2−1exp[−u2(1+t2r)]du

令z=u[1+(t2/r)]/2得到

g1(t)=∫∞012πr‾‾‾‾√Γ(r/2)2r/2(2z1+t2/r)(r+1)/2−1e−z(21+t2/r)dz=Γ[(r+1)/2]πr‾‾‾√Γ(r/2)1(1+t2/r)(r+1)/2,−∞<t<∞(1)

所以如果W满足N(0,1)，V满足χ2(r)且W,V独立，那么

T=WV/r‾‾‾‾√(2)

就有如上所述的pdfg1(t)。随机变量T的分布通常称为t分布，通过观察可以发现t分布完全由参数r决定，也就是卡方分布的自由度。

例1：T满足自由度为r的t分布，那么根据(2)，我们可以写成T=W(/r)−1/2，其中W满足N(0,1)分布，V满足χ2(r)分布，W,V是独立的随机变量。假设(r/2)−(k/2)>0，那么

E(Tk)=E[Wk(Vr)−k/2]=E(Wk)E[(Vr)−k/2]=E(Wk)2−k/2Γ(r2−k2)Γ(r2)r−k/2, k<r(3)

为了求T的均值，令k=1。因为E(W)=0，所以只要T的自由度超过1，T的均值就为0。为了求方差，令k=2，这时候需要r>2，因为E(W2)=1，所以T的方差为

var(T)=E(T2)=rr−2(4)

因此自由度r>2的t分布均值为0，方差为r/(r−2)。

接下来考虑两个独立且自由度分别为r1,r2的卡方随机变量U,V，U,V的联合pdfh(u,v)为

h(u,v)={1Γ(r1/2)Γ(r2/2)2r1+r2/2ur1/2−1vr2/2−1e−(u+v)/200<u,v<∞elsewhere

我们定义新的随机变量为

W=U/r1V/r2

接下里求W的pdfg1(w)，方程

w=u/r1v/r2,z=v,

定义了一对一变换，将集合={(u,v):0<u<∞,0<v<∞}映射到集合={(w,z):0<w<∞,0<z<∞}，因为u=(r1/r2)zw,v=z，变换的雅可比绝对值为||=(r1/r2)z，随机变量W,Z=V的联合pdfg(w,z)为

g(w,z)=1Γ(r1/2)Γ(r2/2)2(r1+r2)/2(r1zwr2)r1−22zr2−22exp[−z2(r1wr2+1)]r1zr2

假设(w,z)∈，其他地方为零。W的边缘pdfg1(w)为

g1(w)=∫∞−∞g(w,z)dz=∫∞0(r1/r2)r1/2(w)r1/2−1Γ(r1/2)Γ(r2/2)2(r1+r2)/2z(r1+r2)/2−1exp[−z2(r1wr2+1)]dz

变量代换

y=z2(r1wr2+1)

可得

g1(w)=∫∞0(r1/r2)r1/2(w)r1/2−1Γ(r1/2)Γ(r2/2)2(r1+r2)/2(2yr1w/r2+1)(r1+r2)/2−1e−y×(2r1w/r2+1)dy={Γ[(r1+r2)/2](r1/r2)r1/2Γ(r1/2)Γ(r2/2)(w)r1/2−1(1+r1w/r2)(r1+r2)/200<w<∞elsewhere

故，如果U,V是自由度分别为r1,r2的且独立的卡方变量，那么

W=U/r1V/r2

的pdf如上所示，该随机变量的分布通常称为F分布，可以看出F分布完全由参数r1,r2决定。

例2：F为自由服r1,r2的F分布，那么F=(r2/r1)(U/V)，其中U,V是独立的χ2随机变量，自由度分别为r1,r2。因此F的k阶矩为

E(Fk)=(r2r1)kE(Uk)E(V−k)

当然假设右边的期望均存在。根据前面的定理可知k>−(r1/2)恒为真，所以第一个期望恒存在，如果r2>2k那么第二个期望存在。假设为真，那么F的均值为

E(F)=r2r1r12−1Γ(r22−1)Γ(r22)=r2r2−2

如果r2非常大，那么E(F)约为1。

最后介绍一个定理，它是由上面的t分布推导出来的。

定理1：令X1,…,Xn是独立同分布的随机变量，且每个都是均值为μ，方差为σ2的正态分布，定义新的随机变量为

X¯=1n∑i=1nXi,S2=1n−1∑i=1n(Xi−X¯)2

那么

X¯是N(μ,σ2n)分布；

X¯,S2是独立的；

(n−1)S2/σ2满足χ2(n−1)分布；

随机变量

T=X¯−μS/n‾‾√

满足自由度为n−1的t分布。

证明：令X=(X1,…,Xn)′，因为X1,…,Xn是独立同分布的N(μ,σ2)随机变量，所以X是多元正态分布N(μ1,σ2I)，其中1表示元素均为1的向量。令v′=(1/n,…,1/n)′=(1/n)1′。注意X¯=v′X，定义随机向量Y为Y=(X1−X¯,…,Xn−X¯)′，考虑下面的变换：

W=[X¯Y]=[v′I−1v′]X

因为W是多元正态随机向量的线性变换，它的均值与方差为

E[W]=[v′I−1v′]μ1=[μ0n]

其中0n表示元素全为0的向量，协方差矩阵为

Σ=[v′I−1v′]σ2I[v′I−1v′]′=σ2⎡⎣⎢⎢1n0n0′nI−1v′⎤⎦⎥⎥

因为X¯是W的第一个元素，根据前面的定理可得结论1。接下来因为协方差为0，所以X¯与Y独立，但是S2=(n−1)−1Y′Y，因此Y¯也与S2独立，结论2的证。

考虑随机变量

V=∑i=1n(Xi−μσ)2

这个和的每项都是N(0,1)随机变换的平方，因此是χ2(1)分布。因为它们互相独立，所以V是χ2(n)随机变量。注意，

V=∑i=1n((Xi−X¯)+(X¯−μ)σ)2=∑i=1n(Xi−X¯σ)2+(X¯−muσ/n‾‾√)2=(n−1)S2σ2+(X¯−μσ/n‾‾√)2

右边两项是独立的，且第二项为标准正态分布的平方即χ2(1)分布。取两边的mgf可得

(1−2t)−n/2=E[exp{t(n−1)S2/σ2}](1−2t)−1/2

求出的(n−1)S2σ2就得到结论3。最后，利用前面三个结论即可得到结论4，

T=(X¯−μ)/(σ/n‾‾√)(n−1)S2/(σ2(n−1))‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√