学习路线:入门机器学习基本概念之简述极大似然估计
2018-03-09 10:28
573 查看
极大似然估计是一种参数估计的方法。
先验概率是 知因求果,后验概率是 知果求因,极大似然是 知果求最可能的原因。
即它的核心思想是:找到参数 θ 的一个估计值,使得当前样本出现的可能性最大。
例如,当其他条件一样时,抽烟者患肺癌的概率是不抽烟者的 5 倍,那么当我们已知现在有个人是肺癌患者,问这个人是抽烟还是不抽烟?大多数人都会选择抽烟,因为这个答案是“最有可能”得到“肺癌”这样的结果。
例如我们知道全国人民的身高服从正态分布,这样就可以通过采样,观察其结果,然后再用样本数据的结果推出正态分布的均值与方差的大概率值,就可以得到全国人民的身高分布的函数。
其中 x1,x2,⋯,xn 为样本,θ 为要估计的参数。
2, 一般对似然函数取对数
因为 f(xi|θ) 一般比较小,n 比较大,连乘容易造成浮点运算下溢。求出使得对数似然函数取最大值的参数的值
3,
求出使得对数似然函数取最大值的参数的值
对对数似然函数求导,令导数为0,得出似然方程,
求解似然方程,得到的参数就是对概率模型中参数值的极大似然估计。
假设进行一百次有放回地随机采样,每次取一个球,有七十次是白球。
问题是要求得罐中白球和黑球的比例?
假设罐中白球的比例是 p,那么黑球的比例就是 1−p。
那么似然函数:
接下来对似然函数对数化:
然后求似然方程:
最后求得 p=0.7
先验概率是 知因求果,后验概率是 知果求因,极大似然是 知果求最可能的原因。
即它的核心思想是:找到参数 θ 的一个估计值,使得当前样本出现的可能性最大。
例如,当其他条件一样时,抽烟者患肺癌的概率是不抽烟者的 5 倍,那么当我们已知现在有个人是肺癌患者,问这个人是抽烟还是不抽烟?大多数人都会选择抽烟,因为这个答案是“最有可能”得到“肺癌”这样的结果。
为什么要有参数估计
当模型已定,但是参数未知时。例如我们知道全国人民的身高服从正态分布,这样就可以通过采样,观察其结果,然后再用样本数据的结果推出正态分布的均值与方差的大概率值,就可以得到全国人民的身高分布的函数。
为什么要使似然函数取最大
极大似然估计是频率学派最经典的方法之一,认为真实发生的结果的概率应该是最大的,那么相应的参数,也应该是能让这个状态发生的概率最大的参数。极大似然估计的计算过程
写出似然函数其中 x1,x2,⋯,xn 为样本,θ 为要估计的参数。
2, 一般对似然函数取对数
因为 f(xi|θ) 一般比较小,n 比较大,连乘容易造成浮点运算下溢。求出使得对数似然函数取最大值的参数的值
3,
求出使得对数似然函数取最大值的参数的值
对对数似然函数求导,令导数为0,得出似然方程,
求解似然方程,得到的参数就是对概率模型中参数值的极大似然估计。
例子
假如一个罐子里有黑白两种颜色的球,数目和比例都不知道。假设进行一百次有放回地随机采样,每次取一个球,有七十次是白球。
问题是要求得罐中白球和黑球的比例?
假设罐中白球的比例是 p,那么黑球的比例就是 1−p。
那么似然函数:
接下来对似然函数对数化:
然后求似然方程:
最后求得 p=0.7
相关文章推荐
- 学习路线:入门机器学习基本概念之PCA 的数学原理和可视化效果
- 学习路线:入门机器学习基本概念之凸优化有什么用
- 学习路线:入门机器学习基本概念之机器学习中常用评估指标汇总
- 持续集成学习笔记-入门篇(1)持续集成基本概念
- 深度学习基础介绍:机器学习介绍和基本概念
- linux学习入门7——磁盘基本概念(linuxcast.net)
- 深度学习笔记(0)——机器学习基本概念
- 机器学习基础学习笔记1-基本概念
- Oracle RAC学习笔记:基本概念及入门
- JavaScript入门学习笔记(1)—— 基本概念
- 基于keras的深度学习基本概念讲解——深度学习之从小白到入门
- Oracle RAC学习笔记:基本概念及入门
- 【转载】【时序约束学习笔记1】Vivado入门与提高--第12讲 时序分析中的基本概念和术语
- 零基础入门深度学习六:深度学习基本概念
- Logo 首页 下载App 深度学习从小白到入门 —— 基于keras的深度学习基本概念讲解 96 作者 shikanon 2017.02.18 20:27 字数 2551 阅读
- 机器学习/深度学习/自然语言处理学习路线 Stanford机器学习笔记 TensorFlow人工智能引擎入门教程之系列
- Hadoop学习笔记-大数据开发 入门 初学者 基本概念
- android入门学习一 基本概念
- Hadoop基础入门学习笔记(基本概念)
- 大数据学习笔记1——大数据相关的基本概念、学习路线