最小二乘法与最大似然估计

看似最小二乘估计与最大似然估计在推导得到的结果很相似，但是其前提条件必须引起大家的注意！！！

对于最小二乘估计，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小，其推导过程如下所示。其中Q表示误差，Yi表示估计值，Yi'表示观测值。



对于最大似然法，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大，也就是概率分布函数或者说是似然函数最大。显然，这是从不同原理出发的两种参数估计方法。因此最大似然法需要已知这个概率分布函数，一般假设其满足正态分布函数的特性，在这种情况下，最大似然估计和最小二乘估计是等价的，也就是说估计结果是相同的，但是原理和出发点完全不同。其推导过程如下所示



最小二乘法以估计值与观测值的差的平方和作为损失函数，极大似然法则是以最大化目标值的似然概率函数为目标函数，从概率统计的角度处理线性回归并在似然概率函数为高斯函数的假设下同最小二乘建立了的联系。 



详细介绍最小二乘法：


 我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面...
   对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：
        （1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。

        （2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。

        （3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。
　 最常用的是普通最小二乘法（ Ordinary  Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。
 　样本回归模型：
                  

                   其中ei为样本（Xi, Yi）的误差
   平方损失函数：
                      


   则通过Q最小确定这条直线，即确定

，以

为变量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数：
                   

    
    根据数学知识我们知道，函数的极值点为偏导为0的点。
    解得：
                   


 
这就是最小二乘法的解法，就是求得平方损失函数的极值

详细介绍最大似然估计：

通俗的说说最大似然估计吧，文绉绉的概念和严谨的公式推导总是记不住，又让人昏昏欲睡....

1.什么是最大似然估计

   如果我们知道样本（数据）所服从的概率分布的模型，而不知道该模型中的参数，例如：高斯模型的参数：均值u，及方差sigma。最大似然估计就是用来估计模型参数的统计学方法。

2.如何估计

   我们有什么可以利用的信息呢？样本，概率分布模型。根据什么道理来估计呢？我们从总体中能够获得这些样本，为什么能获得，应该是获得这样的样本组合的概率最大。这样就将参数估计问题转化到最优化问题了。求最值，最简单的方法就是求导数，令导数为零，解方程。

   设样本：

，概率分布模型：f，要估计的参数θ，优化目标函数：



3.求解

   首先假设样本

独立同分布，则问题转化为：


在实际应用中常用的是两边取对数，得到公式如下：



其中

称为对数似然，而

称为平均对数似然。而我们平时所称的最大似然为最大的对数平均似然，即：

 　　


4.注意

（1）样本要满足的独立同分布  

（2）参数 θ为参数向量，不一定就是一个数。

（3）求解上面的优化问题的方法可以用导数的方法，但有时可能解不唯一；有时可能行不通。所以也可以用其他优化方法。