高斯分布 正态分布

高斯分布

                                      

 

正态分布（normal distribution）又名高斯分布（Gaussian distribution），是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。

若随机变量X服从一个数学期望为μ、标准方差为σ2的高斯分布，记为：

则其概率密度函数为

正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。因其曲线呈钟形，因此人们又经常称之为钟形曲线。我们通常所说的标准正态分布是μ = 0,σ = 1的正态分布(见右图中绿色曲线)。

概要

正态分布是自然科学与行为科学中的定量现象的一个方便模型。各种各样的心理学测试分数和物理现象比如光子 计数都被发现近似地服从正态分布。尽管这些现象的根本原因经常是未知的， 理论上可以证明如果把许多小作用加起来看做一个变量，那么这个变量服从正态分布(在R.N.Bracewell的Fourier transform and its application中可以找到一种简单的证明)。正态分布出现在许多区域统计: 例如, 采样分布均值是近似地正态的，既使被采样的样本总体并不服从正态分布。另外，正态分布信息熵 在所有的已知均值及方差的分布中最大，这使得它作为一种均值以及方差已知的分布的自然选择。正态分布是在统计以及许多统计测试中最广泛应用的一类分布。在概率论, 正态分布是几种连续以及离散分布的极限分布。

历史

正态分布最早是棣莫佛在1734年发表的一篇关于二项分布文章中提出的。拉普拉斯在1812年发表的《分析概率论》（Theorie Analytique des Probabilites）中对棣莫佛的结论作了扩展。现在这一结论通常被称为棣莫佛－拉普拉斯定理。

拉普拉斯在误差分析试验中使用了正态分布。勒让德于1805年引入最小二乘法这一重要方法；而高斯则宣称他早在1794年就使用了该方法，并通过假设误差服从正态分布给出了严格的证明。

“钟形曲线”这个名字可以追溯到Jouffret 他在1872年首次提出这个术语"钟形曲面"，用来指代二元正态分布(bivariate normal). 正态分布这个名字还被Charles S. Peirce, Francis Galton, Wilhelm Lexis在1875分布独立的使用。这个术语是不幸的，因为它反应和鼓励了一种谬误，即很多概率分布都是正态的。 (请参考下面的"实例")

这个分布被称为“正态”或者“高斯”正好是Stigler名字由来法则的一个例子，这个法则说“没有科学发现是以它最初的发现者命名的”。

正态分布的定义

有几种不同的方法用来说明一个随机变量。最直观的方法是概率密度函数，这种方法能够表示随机变量每个取值有多大的可能性。累积分布函数是一种概率上更加清楚的方法，但是非专业人士看起来不直观(请看下边的例子)。还有一些其他的等价方法，例如cumulant、特征函数、动差生成函数以及cumulant-生成函数。这些方法中有一些对于理论工作非常有用，但是不够直观。请参考关于概率分布的讨论。

概率密度函数

四个不同参数集的概率密度函数(绿色线代表标准正态分布)

正态分布的概率密度函数 均值为 μ 方差 为σ2 (或标准差 σ) 是高斯函数的一个实例：

(请看 指数函数 以及 π.)

如果一个随机变量X 服从这个分布，我们写作 X ~ N(μ,σ2). 如果 μ = 0 并且 σ = 1, 这个分布被称为标准正态分布, 这个分布能够简化为

右边是给出了不同参数的正态分布的函数图。

正态分布中一些值得注意的量：

密度函数关于平均值对称

平均值是它的众数(statistical mode)以及中位数(median)

函数曲线下68.268949%的面积在平均值左右的一个标准差范围内

95.449974%的面积在平均值左右两个标准差2σ的范围内

99.730020%的面积在平均值左右三个标准差3σ的范围内

99.993666%的面积在平均值左右四个标准差4σ的范围内

反曲点(拐点)(inflection point)在离平均值的距离为标准差之处

累积分布函数 (分布函数)

上图所示的概率密度函数的累积分布函数

累积分布函数是指随机变量X小于或等于x的概率，用密度函数表示为

标准正态分布的累积分布函数习惯上记为Φ，它仅仅是指μ = 0，σ = 1时的值,

标准正态分布的累积分布函数能够被一个叫做误差函数的特殊函数表示，

它的反函数被称为反误差函数，为：

该分位数函数有时也被称为probit函数。probit函数已被证明没有初等原函数。

正态分布的分布函数Φ(x) 没有解析表达式，它的值可以通过数值积分、泰勒级数或者渐进序列近似得到。

 生成函数

矩生成函数

矩生成函数 被定义为exp(tX)的期望值。

正态分布的矩生成函数如下：

可以通过在指数函数内配平方得到。

特征函数

特征函数被定义为exp(itX)的期望值，其中 i是虚数单位. 对于一个正态分布来讲，特征函数是：

把矩生成函数中的t换成it就能得到特征函数。

性质

正态分布的一些性质:

如果 X˜N(μ,σ2) 且 a 与 b 是 实数, 那么 (参见 期望值 和 方差).

如果 与 是 统计独立的正态随机变量, 那么:
它们的和也满足正态分布 (proof).

它们的差也满足正态分布.

U 与 V 两者是相互独立的.

如果 和 是独立正态随机变量，那么:
它们的积 XY 服从概率密度函数为p的分布 其中K0 是贝塞尔函数(modified Bessel function)

它们的比符合柯西分布，满足.

如果 为独立标准正态随机变量，那么 服从自由度为n的 卡方分布.

标准化正态随机变量

 矩(英文:moment)

一些正态分布的一阶动差如下：

阶数	原点矩	中心矩	Cumulant
0	1	0
1	μ	0	μ
2	μ2 + σ2	σ2	σ2
3	μ3 + 3μσ2	0	0
4	μ4 + 6μ2σ2 + 3σ4	3σ4	0

正态分布的所有二阶以上的累积量为零.