数理统计（二）——切比雪夫不等式、大数定理、伯努利定理、中心极限定理

切比雪夫不等式

含义：设随机变量X的期望为μ，方差为σ2，对于任意正数ε，有：P{|X−μ|≥ε}≤σ2ε2

切比雪夫不等式说明，X的方差越小，事件{|X−μ|≤ε}的概率就越大。即：X的取值基本上集中在期望μ附近。即方差越小，数据的震荡程度越小，数据分布越集中。

切比雪夫不等式的证明

大数定理

含义：设随机变量X1,X2,...,Xn互相独立，并且具有相同的期望μ和方差σ2.作前n个随机变量的平均Yn=1n∑ni=1Xi，则对于任意正数ε，有limn→∞P|Yn−μ|<ε=1

意义：当n很大时，随机变量X1,X2,...,Xn的平均值Yn在概率意义下无限接近期望μ

任然有可能出现偏离，但是这种可能性很小，当n无限大时，这种可能性的概率为0

伯努利大数定理

含义：一次试验中事件A发生的概率为p；重复n次独立实验中，事件A发生了nA次，则p、n、nA的关系满足：对于任意正数εlimn→∞P(|nAn−p|<ε)=1

意义：该定理表明事件A发生的频率nAn以概率收敛于事件A的概率p。

用途：

正态分布的参数估计

朴素贝叶斯做垃圾邮件分类

隐马尔科夫模型有监督参数学习

中心极限定理

含义：设随机变量X1,X2,...,Xn互相独立，服从同一分布，并且具有相同的期望μ和方差σ2，则随机变量Yn=∑ni=1Xi−nμn√σ的分布收敛到标准正态分布

容易得到：∑ni=1Xi收敛到正态分布N(nμ,nσ2)

意义：实际问题中，很多随机现象可以看做许多因素的独立影响的综合反应，往往近似服从正态分布。如：

城市耗电量：大量用户的耗电量总和

测量误差：许多观察不到的、微小误差的总和

注意，是多个随机变量的和才可以，有些问题是乘性误差，则需要鉴别或者取对数后再使用

线性回归中，将使用该定理论证最小二乘法的合理性