最大似然估计理解

最大似然估计：Maximum Likelihood Estimation，简称MLE；

要理解此概念首先要看下什么叫贝叶斯公式，如下：

P(θ|D)=P(D|θ)P(θ)P(D)

我们把D看作是样本，θ看作是这个样本所服从分布的参数，那么上式左侧P(θ|D)可理解为：在给定样本D下，其服从参数为θ的分布的概率，P(D|θ)可理解为在给定参数θ时，样本D发生的概率，P(θ)为参数存在的概率，P(D)为样本发生的概率。

在实际应用中，我们希望从样本中总结出规律，即得到θ。

按照上面的公式，即：求当P(θ)最大时的θ值。

MAX(P(θ|D))=MAX(P(D|θ)P(θ)P(D))，由于P(D)和P(θ)一定，则上式可简化为求MAX(P(D|θ))，此即为最大似然估计,其中P(D|θ)即为似然函数。

假设样本X1,X2...Xn,独立同分布于f(x,θ1,θ2...θk)，则其似然函数即为X1,X2...Xn的联合概率分布：

L(X1X2...Xn)=∏ni=1f(xi,θ1,θ2...θk)，

求似然函数取最大值时的参数，可通过令其二阶导数为0得到,通常两边先取对数，然后求导。