曲线拟合的几种解释
2016-10-28 16:41
120 查看
曲线拟合是一个经典的问题,将其数学化后是:已知训练数据x和对应的目标值t。通过构建参数为w的模型,当新的x出现,对应的t是多少。
本文将从误差和概率的角度探讨如何解决曲线拟合的问题,具体地,将阐述以下概念:
误差函数
正则化
最大似然估计(MLE)
最大后验估计(MAP)
贝叶斯
minw12∑n=1N{y(xn,w)−tn}2
minw12∑n=1N{y(xn,w)−tn}2+λ2∥w∥2
p(t|x,w,β)=N(y(xn,w),β−1)
p(t|x,w,β)=∏n=1NN(tn|y(xn,w),β−1)
对上式取log,并最大化,得到:
maxwlnp(t|x,w,β)=−β2∑n=1N{y(xn,w)−tn}2+N2lnβ−N2ln(2π)
计算w只和上式右边的第一项有关,可以看到,最大似然的结果等同于误差函数的结果,也就是MLE等同于sum squared error function。
假设w的先验估计如下:
p(w|α)=N(w|0,α−1I)
根据后验估计等于似然函数乘以先验估计,也就是
p(w|x,t,α,β)∝$p(t|x,w,β)p(w|α)
同样适用最大似然估计的方法,不过这里不是作用在似然函数上,而是作用在后验分布上,我们得到:
minwβ2∑n=1N{y(xn,w)−tn}2+α2∥w∥2
因此可以看到:
最大化似然函数等同于最小化SSE。
最大化后验分布等同于最小化SSE加上regulation。
为了方便,下文中认为α,β是固定的,在公式中省略了这两者,公式如下:
p(t|x,x,t)=∫p(t|x,w)p(w|x,t)dw
本文将从误差和概率的角度探讨如何解决曲线拟合的问题,具体地,将阐述以下概念:
误差函数
正则化
最大似然估计(MLE)
最大后验估计(MAP)
贝叶斯
误差角度
误差函数
直观的解决思路是最小化训练误差,公式如下:minw12∑n=1N{y(xn,w)−tn}2
正则化
上面的方法会遇到过拟合的问题,所以可以加上正则化的参数避免过拟合,改进后的公式如下:minw12∑n=1N{y(xn,w)−tn}2+λ2∥w∥2
概率角度
高斯分布假设
假设每个点都服从均值不一样方差一样的高斯分布,均值为y(xn,w),方差为β−1。那么,每个点的的概率分布是:p(t|x,w,β)=N(y(xn,w),β−1)
最大似然估计
为了求出上面的概率分布,首先要求出模型w的值,假设每个点之间相互独立,那么似然函数为:p(t|x,w,β)=∏n=1NN(tn|y(xn,w),β−1)
对上式取log,并最大化,得到:
maxwlnp(t|x,w,β)=−β2∑n=1N{y(xn,w)−tn}2+N2lnβ−N2ln(2π)
计算w只和上式右边的第一项有关,可以看到,最大似然的结果等同于误差函数的结果,也就是MLE等同于sum squared error function。
最大后验估计
根据MLE,我们可以得到模型w的参数,并且可以计算出p(t|x,w,β)似然函数进而求得对应点的值,可是这样同样存在过拟合的问题,为了解决这个问题,我们引入了先验估计,并结合似然函数计算出了后验估计。假设w的先验估计如下:
p(w|α)=N(w|0,α−1I)
根据后验估计等于似然函数乘以先验估计,也就是
p(w|x,t,α,β)∝$p(t|x,w,β)p(w|α)
同样适用最大似然估计的方法,不过这里不是作用在似然函数上,而是作用在后验分布上,我们得到:
minwβ2∑n=1N{y(xn,w)−tn}2+α2∥w∥2
因此可以看到:
最大化似然函数等同于最小化SSE。
最大化后验分布等同于最小化SSE加上regulation。
贝叶斯
所谓贝叶斯,就是多次重复使用概率中的和规则和积规则。为了方便,下文中认为α,β是固定的,在公式中省略了这两者,公式如下:
p(t|x,x,t)=∫p(t|x,w)p(w|x,t)dw
相关文章推荐
- 插值方法、曲线拟合
- Java的几种对象(PO,VO,DAO,BO,POJO)解释
- PO/VO/DAO/BO/POJO是什么(JAVA几种对象的解释)
- MATLAB曲线拟合
- Java几种对象( PO、BO、VO、DAO、DTO、POJO)解释
- Java几种对象( PO、BO、VO、DAO、DTO、POJO)解释
- 曲线拟合与插值
- matlab曲线拟合
- 零零散散学算法之具体解释几种最短路径
- @Requires...... 几种注解的 解释
- 股票量化分析(13)——直线拟合、曲线拟合、方差计算
- 最小二乘法多项式曲线拟合原理与实现
- 今天开始学Pattern Recognition and Machine Learning (PRML) ,章节1.1,介绍与多项式曲线拟合(Polynomial Curve Fitting)
- java的几种对象(PO,VO,DAO,BO,POJO)解释
- matlab由一般散点图拟合曲线
- Python实现二维曲线拟合
- 具体解释VB中连接access数据库的几种方法
- java的几种对象解释
- B题 2010年上海世博会影响力的定量评估---数据曲线拟合
- 燃烧的远征java(三)-Struts+Spring+Hibernate:java的几种对象(PO,VO,DAO,BO,POJO)解释