最小二乘法与极大似然估计的区别与联系
2016-08-21 16:41
309 查看
最小二乘法
基本思想
简单地说,最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近(在古汉语中“平方”称为“二乘”),“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小θ表示要求的参数,Yi为观测值(向量),f(xi|θ)为理论值。
最小二乘的作用
用于得到回归方程的参数的一个最优估值。在统计学上,该估值可以很好的拟合训练样本。并且对于新的输入样本,当有了参数估值后,带入公式可以得到输入样本的输出。如何求解最小二乘
多元函数求极值的方法,对θ求偏导,让偏导等于0,求出θ值。当θ为向量时,需要对各个θi求偏导计算。极大似然估计
基本思想
当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大,而不是像最小二乘估计法旨在得到使得模型能最好地拟合样本数据的参数估计量。似然函数
对数似然函数
当样本为独立同分布时,似然函数可简写为L(α)=Πp(xi;α),牵涉到乘法不好往下处理,于是对其取对数研究,得到对数似然函数l(α)=ln L(α)=Σln p(xi;α)求解极大似然
同样使用多元函数求极值的方法。最小二乘与极大似然的区别
摘自http://blog.sina.com.cn/s/blog_4b12446d010191ri.html参考:http://www.zhihu.com/question/20447622 最大似然估计和最小二乘法怎么理解
以最大似然来证明为什么最小二乘要用平方
看链接:http://maplewizard.github.io/2014/06/13/%E4%B8%BA%E4%BB%80%E4%B9%88%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95%E5
相关文章推荐
- 最小边覆盖与最小路径覆盖的联系与区别
- 最大似然估计和最小二乘估计的联系和区别
- 最小边覆盖与最小路径覆盖的联系与区别
- 最大似然估计和最小二乘估计的区别与联系
- 最大似然估计和最小二乘估计的区别与联系
- 机器学习总结(四):极大似然估计与最小二乘法
- matlab中乘法“*”和点乘“.*”;除法“/”和点除“./”的联系和区别。
- 正定与最小二乘法的联系
- 最大似然估计和最小二乘估计的区别与联系
- 最大似然估计和最小二乘估计的区别与联系
- 最大似然估计和最小二乘估计的区别与联系
- 最大似然估计和最小二乘估计的区别与联系
- 由JSESSIONID谈cookie与SESSION的区别和联系
- 牛人对网格、分布式计算、集群、p2p的定义,联系与区别
- 字符串string 字符数组与指向字符串的指针pchar的区别与联系
- 四种联系(join)的区别及用法
- 【翻译】ReferenceEquals()、static Equals() 、instance Equals() 与 operator==之间的联系与区别
- IPTV、数字电视和网络电视三者的区别与联系
- ODBC 、DAO 、ADO 、OLEDB 数据库连接方式区别及联系