如何理解最大似然估计？

转载自：最大似然估计总结笔记，小编辛辛苦苦对原文进行了文字和公式的润色。

如何理解最大似然估计？

1、作用

在已知实验结果的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数θ作为真实θ^的参数估计。说的通俗一点：最大似然估计就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球。要求解最有可能的黑白球之间的比例时，我们就可以采取最大似然估计法：利用8次黑球2次白球这个实验结果，反推最有可能（最大概率）导致这样结果的参数值，这里就是白球黑球的比例。

解：假设抽到黑球的概率为p，即P(抽到黑球)=p，那么得到8次黑球2次白球的这个结果的概率为：P(黑球=8次)=C810p8(1−p)2，想要得出p是多少很简单，使得P(黑球=8次)最大的p就是我要求的结果。

2、离散型

设X为离散型随机变量，θ=(θ1,θ2,...,θk)为多维参数向量，如果随机变量X1,X2,...,Xn相互独立且概率计算式为P{Xi=xi}=p(xi;θ1,θ2,...,θk)，则可得概率函数为P{X1=x1,...,Xn=xn}=∏ni=1p(xi;θ1,θ2,...,θk)。在θ=(θ1,θ2,...,θk)固定时，上式表示X1=x1,...,Xn=xn的概率；当X1=x1,...,Xn=xn已知时，它又变成θ=(θ1,θ2,...,θk)的函数，可以把它记为L(θ1,θ2,...,θk)=∏ni=1p(xi;θ1,θ2,...,θk)，称此函数为似然函数。似然函数值的大小意味着该样本值出现的可能性的大小，既然已经得到了样本值X1=x1,...,Xn=xn，那么它出现的可能性应该是较大的，即似然函数的值也应该是比较大的，因而最大似然估计就是选择使L(θ1,θ2,...,θk)达到最大值的那个θ作为真实θ^的参数估计。

3、连续型

设X为连续型随机变量，其概率密度函数为f(x;θ1,θ2,...,θk)，X1,...,Xn为从该总体中抽出的样本。同样的，如果X1,...,Xn相互独立且同分布，于是样本的联合概率密度为L(θ1,θ2,...,θk)=∏ni=1f(x;θ1,θ2,...,θk)。大致过程同离散型一样。

4、关于概率密度（PD）

我们来考虑个简单的情况(m=k=1)，即是参数和样本都为1的情况。假设进行一个实验，实验次数定为10次，每次实验成功率为0.2，那么不成功的概率为0.8，用y来表示成功的次数。由于前后的实验是相互独立的，所以可以计算得到成功的次数的概率密度为：

f(y;ω=0.2)=Cy100.2y0.810−y,y∈[0,10]

由于y的取值范围已定，而且ω也为已知：图1显示了当ω=0.2时y取不同值时的概率分布情况，图2显示了当ω=0.7时y取不同值时的概率分布情况。

图1如下：



图2如下：



那么ω在[0,1]之间变化而形成的概率密度函数的集合就形成了一个模型

5、最大似然估计的求法

由上面的介绍可以知道，对于图1这种情况y=2是最有可能发生的事件。但是在现实中我们还会面临另外一种情况：我们已经知道了一系列的观察值和一个感兴趣的模型，现在需要找出是哪个PD（具体来说参数ω为多少时）产生出来的这些观察值。要解决这个问题，就需要用到参数估计的方法，在最大似然估计法中，我们对调PD中数据向量和参数向量的角色，于是可以得到似然函数的定义为：L(ω|y)=f(y|omega)

该函数可以理解为，在给定了样本值的情况下，关于参数向量ω取值情况的函数。还是以上面的简单实验情况为例，若此时给定y为7，那么可以得到关于ω的似然函数为：L(ω|y=7)=f(y=7|ω)=C310ω7(1−ω)3(ω∈[0,1])

继续回顾前面所讲，图1,2是在给定ω的情况下，样本向量y取不同值的概率分布情况；而图3是图1,2横纵坐标轴相交换而成，它所描述的似然函数图则指出在给定样本向量y的情况下，符合该取值样本分布的各种参数向量ω的可能性。若ω1相比于ω2，使得y=7出现的可能性要高，那么理所当然的ω1要比ω2更加接近于真正的估计参数。所以求ω的极大似然估计就归结为求似然函数L的最大值点。那么ω取何值时似然函数L(ω|y=7)最大，这就需要用到高等数学中求导的概念，如果是多维参数向量那么就是求偏导。

图3如下：



主要注意的是多数情况下，直接对变量进行求导反而会使得计算式子更加的复杂，此时可以借用对数函数。由于对数函数是单调增函数，所以logL(ω)=∑(i=1)nlogf(xi;ω1,...,ωk)与L(ω)具有相同的最大值点，而在许多情况下，求L(ω)的最大值点比较简单。于是，我们将求L(ω)的最大值点改为求logL(ω)的最大值点。即：lnL(ω|y=7)=lnC310+7lnω+3ln(1−ω)

若该似然函数的导数存在，那么对logL(ω)关于参数向量的各个参数求导数（当前情况向量维数为1），并令其等于零，得到方程组：∂lnL(ω|y=7)∂ω=7ω−31−ω=7−10ωω(1−ω)=0

可以得出ω=0.7时似然函数有极值，为了进一步判断该点位最大值而不是最小值，可以继续求二阶导来判断函数的凹凸性，如果二阶导数在ω=0.7时为负数那么即是最大值，这里再不细说。

还要指出，若函数f(xi;θ1,...,θk)关于θ1,...,θk的导数不存在，我们就无法得到似然方程组，这时就必须用其它的方法来求最大似然估计值，例如用有界函数的增减性去求L(θ)的最大值点。

6、总结

最大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

求最大似然函数估计值的一般步骤：

（1） 写出似然函数

（2） 对似然函数取对数，并整理

（3） 求导数

（4） 解似然方程

对于最大似然估计方法的应用，需要结合特定的环境，因为它需要你提供样本的已知模型进而来估算参数，例如在模式识别中，我们可以规定目标符合高斯模型。而且对于该算法，我理解为，“知道”和“能用”就行，没必要在程序设计时将该部分实现，因为在大多数程序中只会用到我最后推导出来的结果。个人建议，如有问题望有经验者指出。在文献[1]中讲解了本文的相关理论内容，在文献[2]附有3个推导例子。

7、参考文献

[1] I.J. Myung. Tutorial on maximum likelihood estimation[J]. Journal of Mathematical Psychology, 2003, 90-100.

[2] http://edu6.teacher.com.cn/ttg006a/chap7/jiangjie/72.htm

参考资料：

1. 最大似然估计和最小二乘法怎么理解？