漫步数理统计十四——重要的不等式

本篇博文给出涉及期望的三个不等式的证明，之后我们会经常遇到这些不等式，首先介绍一个有用的结论。

定理1：令X表示随机变量，m是一个正整数，假设E[Xm]存在，如果k是一个正数且k≤m，那么E[Xk]存在。

证明：我们证明连续情况；离散情况与之类似，只需要将积分符号换成求和符号即可，令f(x)是X的pdf，那么

∫∞−∞|x|kf(x)dx=∫|x|≤1|x|kf(x)dx+∫|x|>1|x|kf(x)dx≤∫|x|≤1f(x)dx+∫|x|>1|x|mf(x)dx≤∫∞−∞f(x)dx+∫∞−∞|x|mf(x)dx≤1+E[|X|m]<∞

得证。

定理2：(马尔科夫不等式)令u(X)是随机变量X的非负函数，如果E[u(X)]存在，那么对于每个正常数c，

P[u(X)≥c]≤E[u(X)]c

证明：这里给出连续情况的证明；对于离散情况，只需要将积分符号改成求和符号即可。令A={x:u(x)≥c}，f(x)表示X的pdf，那么

E[u(X)]=∫∞−∞u(x)f(x)dx=∫Au(x)f(x)dx+∫Acu(x)f(x)dx

上式最右边的每个被积函数都是正的，所以左边大于或等于右边任何一项，特别地

E[u(X)]≥∫Au(x)f(x)dx

然而，如果x∈A，那么u(x)≥c，所以我们用c代替上式右边u(x)的话，不等式不会增加，即

E[u(X)]≥c∫Af(x)dx

因为

∫Af(x)dx=P(X∈A)=P[u(X)≥c]

从而得到

E[u(X)]≥cP[u(X)≥c]

得证。

前面这个不等式是切比雪夫不等式的推广，具体如下定理所述。

定理3：(切比雪夫不等式)X是一个随机变量且概率分布的方差sigma2是有限的(根据定理1，这意味着均值μ=E(X)存在)，那么对于任意k>0，

P(|X−μ|≥kσ)≤1k2

或者等价的

P(|X−μ|<kσ)≥1−1k2

证明：利用定理2中取u(X)=(X−μ)2,c=k2σ2，那么我们有

P[(X−μ)2≥k2σ2]≤E[(X−μ)2]k2σ2

因为这个不等式右边的分子是σ2，所以可以写成

P(|X−μ|≥kσ)≤1k2

得证。当然这里的k是大于1的整数。

切比雪夫不等式有一个简洁的形式，可以取kσ=ϵ，其中ϵ>0，这是不等式就变成

P(|X−μ|≥ϵ)≤σ2ϵ2,for all ϵ>0

因此1/k2是概率P(|X−μ|≥kσ)的上界，接下来我们给出一些实例中的上界与概率的准确值。

例1：令X的pdf为

f(x)={123√0−3√<x<3√elsewhere

这里μ=0,σ2=1，如果k=32，我们有准确的概率值

P(|X−μ|≥kσ)=P(|X|≥32)=1−∫3/2−3/2123√dx=1−3√2

根据切比雪夫不等式，这个概率上界为1/k2=49，因为近似1−3√/2=0.134，这是准确值远小于上界4/9。如果取k=2，我们得到的准确值是P(|X−μ|≥2σ)=P(|X|≥2)=0，依然远小于上界1/k2=1/4。

在上面的例子中，概率P(|X−μ|≥kσ)与上界1/k2差别较大。然而，如果我们希望不等式对所有k>0成立且对所有有有限方差的随机变量成立，那么就不可能再提高了，如下所示。

例2：X是离散型随机变量，在点x=−1,0,1处概率分别为18,68,18。这里μ=0,σ2=14。如果k=2，那么1/k2=14,P(|X−μ|≥kσ)=P(|X|≥1)，即P(|X−μ|≥kσ)等于上界1/k2=1/4，因此在没有给出X分布的进一步假设的情况下，不等式无法提高了。

定义1：定义在区间(a,b),−∞≤a<b≤∞上的函数ϕ，如果对于(a,b)上的所有x,y以及所有的0<γ<1，不等式

ϕ[γx+(1−γ)y]≤γϕ(x)+(1−γ)ϕ(y)

成立，那么函数ϕ(x)称为凸函数，如果上面的不等式是严格的，那么称ϕ是严格凸函数。

在一阶与二阶导存在的情况下，下面的不等式成立。

定理4：如果ϕ在(a,b)上可微，那么

对于所有的a<x<y<b，当且仅当ϕ′(x)≤ϕ′′(y)时，ϕ 是凸的。

对于所有的a<x<y<b，当且仅当ϕ′(x)<ϕ′′(y)时，ϕ是严格凸的。

如果ϕ在(a,b)上二阶可微，那么

对于所有的a<x<y<b，当且仅当ϕ′′(x)≥0时，ϕ 是凸的。

对于所有的a<x<y<b，当且仅当ϕ′′(y)>0时，ϕ是严格凸的。

当然这个定理的第二部分可以从第一部分直接导出，而第一部分直观上也比较好理解，具体证明可以参考一些分析的书。下面给出一个非常有用的关于凸的不等式。

定理5：(詹森不等式)如果ϕ在开集I上是凸的，X是随机变量，其支撑含于I中且有有限期望，那么

ϕ[E(X)]≤E[ϕ(X)]

如果ϕ严格凸，那么不等式是严格的，除非X是一个常随机变量。

证明：假设ϕ有二阶导，ϕ(x)在u=E[X]处进行泰勒级数展开：

ϕ(x)=ϕ(μ)+ϕ′(μ)(x−mu)+ϕ′′(zeta)(x−μ)22

其中ζ位于x,μ之间。因为上式的最后一项是正的，所以我们有

ϕ(x)≥ϕ(μ)+ϕ′(μ)(x−μ)

两边分别取期望即可得到所要的结论。假设X不是常量，那么如果对于所有的x∈(a,b),ϕ′′(x)>0，则不等式是严格凸的。

例3：X是非退化随机变量，均值为μ且有有限的二阶矩，那么μ<E(X2)。这个结论可以利用詹森不等式得到，需要用到严格凸函数ϕ(t)=t2。

例4：(调和与几何平均)令{a1,…,an} 是正数集合，对每个数a1,…,an分配权重1/n就得到一个随机变量X的分布，那么X的均值就是算数平均(AM)，E(X)=n−1Σni=1ai，又因为−logx 是凸函数，所以利用詹森不等式可得

−log(1n∑i=1nai)≤E(−logX)=−1n∑i=1nlogai=−log(a1a2…an)1/n

或者等价的

log(1n∑i=1nai)≥log(a1a2…an)1/n

因此

(a1a2…an)1/n≤1n∑i=1nai

不等式左边称为几何平均(GM)，所有上面的不等式等价于对任意有限正数集，GM≤AM。

现在用1/ai代替ai，(也是正值)，那么我们就得到

1n∑i=1n1ai≥(1a11a2⋯1an)1/n

或者等价的

11nΣni=11ai≤(a1a2…an)1/n

不等式的左边称为调和级数(HM)，从而我们得出对任意正数集合

HM≤GM≤AM