大数定律和中心极限定理

大数定律和中心极限定理

大数定律和中心极限定理都是针对随机变量序列的极限定理。其中大数定律是关于随机变量序列的平均结果的极限定理，中心极限定理是独立随机变量的和的极限分布为正态分布。

切比雪夫(Chebyshev)不等式

随机变量X，它的期望为E(X)，方差为D(X)。那么对于任意给定的正数ε，事件{|X-E(X)|≥ε}发生的概率与方差有关：

{ | X-E(X) | ≥ε }≤D(X)ε2

或

{ | X-E(X) | <ε }≥1−D(X)ε2

切比雪夫不等式说明了变量偏离均值的范围和方差的关系.

当ε 大于三倍标准差的时候，概率

P{ | X-E(X) | ≥ε }≤D(X)9D(X)

这时候的概率就很小了。这点在正态分布中尤其明显。

大数定律

大数定律反应了事件发生的概率具有稳定性，随着试验次数的增多，事件发生的频率稳定于一个确定的常数.

切比雪夫大数定律

设X1,X2,...,Xn,...是相互独立的随机变量序列，E(Xi),D(Xi)(i=1,2,3,...)都存在，且存在C>0,使得D(Xi)≤C,则对于任意的ε >0，有

limn→∞P{|1n∑i=1nXi−1n∑i=1nE(Xi)|<ε}=1

或

limn→∞P{|1n∑i=1nXi−1n∑i=1nE(Xi)|≥ε}=0

切比雪夫大数定律表明，当n充分大的时，n个相互独立的随机变量的平均值1n∑i=1nXi以较大的概率聚集在其数学期望1n∑i=1nE(Xi)附近。从理论上证明了独立随机变量的平均值具有稳定性。

推论

设X1,X2,...,Xn,...是相互独立具有相同期望与方差的随机变量序列，且E(Xi)=μ,D(Xi)=σ2(i=1,2,3,...),则对于任意的ε >0，有

limn→∞P{|1n∑i=1nXi−μ|<ε}=1

伯努利大数定律

设X是n重伯努利试验中事件A发生的次数，p(0<p<1)是事件A在每次试验中发生的概率，则对于任意的ε>0,有

limn→∞P{|Xn−p|<ε}=1

或

limn→∞P{|Xn−p|≥ε}=0

伯努利大数定律表明，事件发生的频率依概率收敛于事件的概率。这个定理以严格的数学形式表明了频率的稳定性。

切比雪夫大数定律要求随机变量具有方差，但方差存在的这个条件不是必要的。

辛钦大数定律

设X1,X2,...,Xn,...为独立且具有相同分布的随机变量序列，有E(Xi)=μ,(i=1,2,3,...)，则对于任意的ε>0,

limn→∞P{|1n∑i=1nXi−μ|<ε}=1

或

limn→∞P{|1n∑i=1nXi−μ|≥ε}=0

辛钦大数定律表明，当n充分大的时候，随机变量X在n次独立重复观测中的算术均值1n∑i=1nXi以较大的概率聚集于E(X)附近。

切比雪夫大数定律依托于切比雪夫不等式，其条件是随机变量要有期望与方差，表明随机变量均值收敛于其方差。伯努利大数定律针对n重伯努利试验，其从数学上证明了事件发生的频率依概率收敛于事件的概率，当事件发生的次数非常大的时候，可以用事件发生的频率来近似估计事件的概率。辛钦大数定律的条件是独立同分布的随机变量序列，此时不需要要求方差的存在，其表明当n充分大的时候，随机变量的均值接近其方差。辛钦大数定律可以看成伯努利大数定律的扩充。

中心极限定理

在实际中，常常需要考录许多随机因素所产生的总的影响。大数定律告诉我们，在一定条件下，大量的独立随机变量的均值已经不具有随机性。在大量随机现象中还有另一个更为重要的规律：

尽管个别随机变量的分布函数可能各种各样，如果每个随机因素的单独作用微不足道且相对均匀，那么大量的相互独立的随机变量的和的分布也不再是任意的而是服从或近似服从正态分布。

中心极限定理从理论上证明了上诉结论，揭示了正态分布的起源。

定义1 设随机变量X1,X2,⋅⋅⋅,Xn,⋅⋅⋅相互独立，均具有有限的期望与方差，且E(Xi)=μi,D(Xi)=σ2i>0,i=1,2,⋅⋅⋅,令

Yn=∑i=1nXi=X1+X2+⋅⋅⋅+Xn,

Zn=Yn−E(Yn)D(Yn)−−−−−√=1∑i=1nσ2i−−−−−√∑i=1n(Xi−μi)

则称随机变量Zn为随机变量X1，X2，⋅⋅⋅，Xn的规范和

定义2 若随机变量X1，X2，⋅⋅⋅，Xn的规范和Zn的分布函数为Fn(x),如果对于任意实数x，有

limn→∞Fn(x)=limn→∞P{Zn≤x}=12π−−√∫x−∞e−t22dt=Φ(x)

则称X1，X2，⋅⋅⋅，Xn，⋅⋅⋅服从中心极限定理

列维—林德伯格定理

设X1,X2,...,Xn,...为独立且具有相同分布的随机变量序列，有E(Xi)=μ,(i=1,2,3,...)，D(Xi)=σ2(σ>0),则对于任意实数x，有

limn→∞P{∑i=1nXi−nμσn−−√≤x}=∫x−∞12π−−√e−t22dt=Φ(x)

它表明，当n充分大时，n个具有期望和方差的独立且同分布的随机变量之和近似服从正态分布。

无论Xi(i=1,2,...)服从什么分布，只要独立且具有相同的分布，且方差存在且大于0，那么当n充分大的时候，随机变量∑i=1nXi近似服从正态分布N(nμ,nσ2),∑i=1nXi−nμn−−√σ近似服从标准正态分布N(0,1).

棣莫佛－拉普拉斯定理

设随机变量X是n重伯努利试验中事件A发生的次数，p(0<p<1)是事件A在每次试验中发生的概率，则对于任意实数x，有

limn→∞p{X−npnp(1−p)−−−−−−−−√≤x}=∫x−∞12π−−√e−t22dt=Φ(x).

棣莫佛－拉普拉斯定理是列维—林德伯格定理的特殊情况.它告诉我们当n很大时，二项分布的概率计算可以转化成正态分布进行，可以使计算量大大减小.