《R语言实战——机器学习与数据分析》

概率统计基础知识要点：

样本空间：由随机试验E的全部可能结果所组成的集合被称为E的样本空间S。

随机变量Random Variable：是定义在样本空间S之上的实验结果的实值函数X。

离散型随机变量：如果一个随机变量最多有可数多个可能取值。

连续型随机变量：如果随机变量取值是无限不可数的。

累积分布函数 Cumulative Distribution Function

概率质量函数 Probability Mass Function，对离散型随机变量定义

概率密度函数Probability Density Function，对连续型随机变量定义

期望Expectation：X的期望就是X所有可能取值的一个加权平均，每个值的权重就是X取该值的概率。

方差Variance：刻画随机变量相对于期望值的散布程度的一个度量。

离散概率分布：

伯努利分布Bernoulli（两点分布）

二项分布Binomial Distribution：重复进行n次独立的伯努利实验

负二项分布（帕斯卡分布）

几何分布：负二项分布的特例

泊松分布Poisson：可以看成二项分布的特例

连续概率分布：

指数分布：泊松过程的等待时间服从指数分布

正态分布Gaussian

大数定理：布丰投针实验，样本数量越多，其平均越趋近于期望值，一些随机事件的均值具有长期稳定性

马尔可夫不等式、切比雪夫不等式：在只知道随机变量的期望或期望和方差都知道的情况下，可以导出概率的上界

弱大数定理（辛钦大数定理）

强大数定理

中央极限定理：若有独立同分布的随机变量序列，不论其分布如何，只要n足够大，则随机变量之和服从正态分布，期望和方差是他们的公共期望和方差的n倍