极大似然估计

      一 概念

      极大似然估计（Maximum Likelihood Estimate, MLE)是一种统计方法，又称为最大概率估计或者最大似然估计，

它用来求一个样本集的相关概率密度函数的参数，是利用已知采样估计未知参数的方法。

    二  解释

      给定一个概率分布

，假定其概率密度函数（连续分布）或概率质量函数（离散分布）为

，以及一个分布参数

，我们可以从这个分布中抽出一个具有

个值的采样

，通过利用

，我们就能计算出其概率：



但是，我们可能不知道

的值，尽管我们知道这些采样数据来自于分布

。那么我们如何才能估计出

呢？一个自然的想法是从这个分布中抽出一个具有

个值的采样

，然后用这些采样数据来估计

.

一旦我们获得

，我们就能从中找到一个关于

的估计。最大似然估计会寻找关于

的最可能的值（即，在所有可能的

取值中，寻找一个值使这个采样的“可能性”最大化）。这种方法正好同一些其他的估计方法不同，如

的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估的

值。

要在数学上实现最大似然估计法，我们首先要定义似然函数:



并且在

的所有取值上，使这个函数最大化(一阶导数)。这个使可能性最大的

值即被称为

的最大似然估计。

    简单说最大似然，指什么参数使得结果像样本那个样子。

   三  举例

      10次抛硬币的结果是：正正反正正正反反正正， 求每次抛硬币结果为正的概率p

       似然函数： P＝pp(1-p)ppp(1-p)(1-p)pp

                             =p^7 * (1-p)^3   , 0<=p <=1

        MLE的目标函数就是  max(P)，得到p＝0.7