最大似然估计和最大后验概率MAP
2015-07-31 22:55
225 查看
最大似然估计是一种奇妙的东西,我觉得发明这种估计的人特别才华。如果是我,觉得很难凭空想到这样做。
极大似然估计和贝叶斯估计分别代表了频率派和贝叶斯派的观点。频率派认为,参数是客观存在的,只是未知而矣。因此,频率派最关心极大似然函数,只要参数求出来了,给定自变量X,Y也就固定了,极大似然估计如下所示:
相反的,贝叶斯派认为参数也是随机的,和一般随机变量没有本质区别,正是因为参数不能固定,当给定一个输入x后,我们不能用一个确定的y表示输出结果,必须用一个概率的方式表达出来,所以贝叶斯学派的预测值是一个期望值,如下所示:
其中x表示输入,y表示输出,D表示训练数据集,
是模型参数
该公式称为全贝叶斯预测。现在的问题是如何求
(后验概率),根据贝叶斯公式我们有:
可惜的是,上面的后验概率通常是很难计算的,因为要对所有的参数进行积分,不能找到一个典型的闭合解(解析解)。在这种情况下,我们采用了一种近似的方法求后验概率,这就是最大后验概率。
最大后验概率和极大似然估计很像,只是多了一项先验分布,它体现了贝叶斯认为参数也是随机变量的观点,在实际运算中通常通过超参数给出先验分布。
从以上可以看出,一方面,极大似然估计和最大后验概率都是参数的点估计。在频率学派中,参数固定了,预测值也就固定了。最大后验概率是贝叶斯学派的一种近似手段,因为完全贝叶斯估计不一定可行。另一方面,最大后验概率可以看作是对先验和MLE的一种折衷,如果数据量足够大,最大后验概率和最大似然估计趋向于一致,如果数据为0,最大后验仅由先验决定。
参考链接:http://blog.csdn.net/lzt1983/article/details/10131839
极大似然估计和贝叶斯估计分别代表了频率派和贝叶斯派的观点。频率派认为,参数是客观存在的,只是未知而矣。因此,频率派最关心极大似然函数,只要参数求出来了,给定自变量X,Y也就固定了,极大似然估计如下所示:
相反的,贝叶斯派认为参数也是随机的,和一般随机变量没有本质区别,正是因为参数不能固定,当给定一个输入x后,我们不能用一个确定的y表示输出结果,必须用一个概率的方式表达出来,所以贝叶斯学派的预测值是一个期望值,如下所示:
其中x表示输入,y表示输出,D表示训练数据集,
是模型参数
该公式称为全贝叶斯预测。现在的问题是如何求
(后验概率),根据贝叶斯公式我们有:
可惜的是,上面的后验概率通常是很难计算的,因为要对所有的参数进行积分,不能找到一个典型的闭合解(解析解)。在这种情况下,我们采用了一种近似的方法求后验概率,这就是最大后验概率。
最大后验概率和极大似然估计很像,只是多了一项先验分布,它体现了贝叶斯认为参数也是随机变量的观点,在实际运算中通常通过超参数给出先验分布。
从以上可以看出,一方面,极大似然估计和最大后验概率都是参数的点估计。在频率学派中,参数固定了,预测值也就固定了。最大后验概率是贝叶斯学派的一种近似手段,因为完全贝叶斯估计不一定可行。另一方面,最大后验概率可以看作是对先验和MLE的一种折衷,如果数据量足够大,最大后验概率和最大似然估计趋向于一致,如果数据为0,最大后验仅由先验决定。
参考链接:http://blog.csdn.net/lzt1983/article/details/10131839
相关文章推荐
- 玩转AJAX(第一天) AJAX基础
- KMP匹配
- Leetcode #78 Subsets
- VC++内存泄漏定位(依赖MFC)
- MATLAB符号运算
- MATLAB符号运算 分类: 图像处理 2015-07-31 22:53 3人阅读 评论(0) 收藏
- PHP中命名空间的引用
- nyoj 6喷水装置(一)
- hdu 4336 Card Colletor 动态规划-概率dp
- Spring+SpringMVC+MyBatis+LogBack+C3P0+Maven+Git小结
- Linux性能评测工具之一:gprof篇
- 随想录(网络编程中的一些问题)
- PHP中命名空间的创建-使用namespace
- 笔记:红帽子Linux下安装jdk1.8
- 1022:Train Problem I
- Java Heap Stack
- Activity横竖屏切换不重绘界面
- Tokyo Cabinet Hash数据库存储和索引结构
- 二分简单题
- linux 下tomcat 6 启动出现日志异常