漫步数理统计二十九——函数期望

令X=(X1,…,Xn)′表示某试验的随机变量，我们一般对X的函数感兴趣，表示为T=T(X)。例如如果X是一个样本，T可能是我们感兴趣的统计量。我们先从X的线性函数开始；例如对某个特定的向量a=(a1,…,an)′，

T=a′X=∑i=1naiXi

然后我们会得到这种随机变量的均值与方差。

T的均值根据期望运算的线性性质可以立刻得出，如下定理所示：

定理1：令T=∑ni=1aiXi，假设对i=1,…,n,E[|Xi|]<∞，那么

E(T)=∑i=1naiE(Xi)

对于T的方差，我们先给出涉及到协方差的一个结论。令Y=(Y1,…,Ym)′表示另一个随机向量，对某个特定的向量b=(b1,…,bm)′,W=b′Y。

定理2：令T=∑ni=1aiXi,W=∑mi−1biYi，如果对i=1,…,n,j=1,…,m,E[X2i]<∞,E[Y2j]<∞，那么

cov(T,W)=∑i=1n∑j=1maibjcov(Xi,Yj)

证明：根据协方差的定义以及定理1，我们可得

cov(T,W)=E[∑i=1n∑j=1m(aiXi−aiE(Xi))(bjYj−bjE(Yj))]=∑i=1n∑j=1maibjE[(xi−E(Xi))(Yj−E(Yj))]

得证。||

为了求出T的方差，我们用T替换定理2中的W，从而得到下面的推论：

推论1：令T=∑i=1naiXi，假设对于i=1,…,n,E[X2i]<∞，

var(T)=cov(T,T)=∑i=1na2ivar(Xi)+2∑i<jaiajcov(Xi,Xj)(1)

注意如果X1,…,Xn是独立的随机变量，那么cov(Xi,Xj)=0，从而(1)得到进一步简化，如下面的推论：

推论2：如果X1,…,Xn是拥有有限个变量的独立随机变量，那么

var(T)=∑i=1na2ivar(Xi)(2)

注意只需要对所有的i≠j,Xi,Xj不相干即可得到这个结论；例如当X1,…,Xn是独立的，那么cov(Xi,Xj)=0,i≠j。

考虑我们有一个感兴趣的随机变量X，它的密度为f(x:θ)，其中θ∈Ω，参数θ是未知的且我们需要基于样本估计它，关于估计的第一个性质就是它的期望。

定义1：令X是随机变量，pdf为f(x:θ)或者pmf为p(x:θ)，θ∈Ω。令X1,…,Xn是来自X分布的随机样本并令T表示一个统计量。我们称T为θ的无偏估计，如果

E(T)=θ, for all θ∈Ω(3)

如果T不是无偏的(即，E(T)=≠θ) ，我们称T是θ的有偏估计。

例1：令X1,…,Xn是均值为μ，方差为σ2的随机变量X的分布中随机得到的样本，回忆一下样本均值为X¯=n−1∑ni=1Xi，它是样本观测值的线性组合，系数为ai=n−1；因此根据定理1与推论2我们有

E(X¯)=μ,var(X¯)=σ2n

因此X¯是μ的无偏估计。进一步，X¯的方差在n很大时非常小。从极限角度来说就是当n无限大时，样本均值X¯收敛到μ。

例2：X1,…,Xn如上例所示，样本方差定义为

S2=(n−1)−1∑i=1n(Xi−X¯)2=(n−1)−1(∑i=1nX2i−nX¯2)

利用上例的结论以及E(X2)=σ2+μ2可得

E(S2)=(n−1)−1(∑i=1nE(X2i)−nE(X¯2))=(n−1)−1{nσ2+nμ2−n[(σ2/n+μ2)]}=σ2

因此样本方差是σ2的无偏估计。如果V=n−1∑ni−1(Xi−X¯)2，那么E(V)=((n−1)/n)sigma2，也就是说V是σ2的无偏估计，这也就是为何我们用n−1而不是n。

例3：令X1,…,Xn是均匀分布(0,θ)的随机样本，假设θ未知，θ的直观估计为样本的最大值。令Yn=max{X1,…,Xn}，那么Yn的cdf为

FYn(t)=⎧⎩⎨⎪⎪1(tθ)n0t>θ0<t≤θt≤0

因此Yn的pdf为

fYn(t)={nθntn−100<t≤θelsewhere

基于这个pdd可得E(Yn)=(n/(n+1))θ，所以Yn是θ的有偏估计，注意((n+1)/n)Yn是θ的无偏估计。

例4：X1,…,Xn随机变量X分布的随机样本，该变量的pdf为f(x)。假设μ=E(X)存在，进一步假设pdf关于μ对称，例1已经说明样本均值是μ的无偏估计，那么样本中值T=T(X1,X2,…,Xn)=med{X1,X2,…,Xn}呢？样本中值满足两个性质：(1)如果样本增加(或减少)b，那么中值也增加(或减少)b。(2)如果样本均乘以-1，那么中值也乘以-1。我们将这两个性质简写成：

T(X1+b,X2+b,…,Xn+b)T(−X1,−X2,…,−Xn)=T(X1,X2,…,Xn)+b=−T(X1,X2,…,Xn)

如果Xi关于μ对称，那么随机向量(X1−μ,…,Xn−μ)与随机向量(−(X1−μ),…,−(Xn−μ))的分布是一样的，特别的他们的期望是一样的。由上面的结论可得：

E[T]−μ=E[T(X1,…,Xn)]−μ=E[T(X1−μ,…,Xn−μ)]=E[T(−(X1−μ),…,−(Xn−μ))]=−E[T(X1−μ1,…,Xn−μ)]−E[T(X1,…,Xn)]+μ=−E[T]+μ

即2E(T)=2μ，所以E[T]=μ。在上面两个性质的条件下，样本中值是θ的无偏估计。那么样本均值与样本中值那个更好呢？后面的文章会详细介绍。