用最小二乘做为线性回归的代价函数的一些解释
2013-09-10 14:24
246 查看
先介绍下问题的背景:
要从看NG Adrew的机器学习视频课程说起,这个课程很早就下载了,但是当时基础知识不够很多没看懂,反反复复看了几次前面的几节课程。昨晚再次看到"under fittng"以及"over fitting"这个视频(是第四个视频吧)的时候,里面讲到了这个问题,也就是在线性回归中,对房价的预测为什么使用了J = 1/2*(y-h(x))^2作为代价函数来求解参数。
接着介绍下问题:
在这个问题中有m个样本,分别用x_1,x_2,...x_m表示,对应的label分别为y_1,y_2,...y_m,使用J = 1/2*(y_1 - h(x_1))^2 + 1/2*(y_2 - h(x_2))^2+...+1/2*(y_m - h(x_m))^2,然后使用优化算法比如梯度下降对h中的参数theta进行优化求解,满足的前提是min J。
索要描述的问题就是:为什么最小化J之后得到的参数theta值,就是我们真正想要的呢?
答案:
令 y = h(x) + error,此时我们假设error符合均值为0的高斯分布(这个假设可以用很多方法证明的),此时当theta固定的话,h(x)是常数,所以p(y-h(x)) = p(error)。
利用似然性得到l(theta) = p(y_1-h(x_1))*p(y_2-h(x_2))*...*p(y_m-h(x_m)),因为error独立,故让l(theta)最大就可以得到error最小(这个可以根据正太分布的图形知道,当位于中心点的时候误差为0,此时概率最大)由于error符合高斯分布,带入到高斯分布函数中,就可以得到一个表达式(这个表达式太复杂了,csdn编辑器不支持,我就不写了),然后对l两边求log,最后就可以得到J。
要从看NG Adrew的机器学习视频课程说起,这个课程很早就下载了,但是当时基础知识不够很多没看懂,反反复复看了几次前面的几节课程。昨晚再次看到"under fittng"以及"over fitting"这个视频(是第四个视频吧)的时候,里面讲到了这个问题,也就是在线性回归中,对房价的预测为什么使用了J = 1/2*(y-h(x))^2作为代价函数来求解参数。
接着介绍下问题:
在这个问题中有m个样本,分别用x_1,x_2,...x_m表示,对应的label分别为y_1,y_2,...y_m,使用J = 1/2*(y_1 - h(x_1))^2 + 1/2*(y_2 - h(x_2))^2+...+1/2*(y_m - h(x_m))^2,然后使用优化算法比如梯度下降对h中的参数theta进行优化求解,满足的前提是min J。
索要描述的问题就是:为什么最小化J之后得到的参数theta值,就是我们真正想要的呢?
答案:
令 y = h(x) + error,此时我们假设error符合均值为0的高斯分布(这个假设可以用很多方法证明的),此时当theta固定的话,h(x)是常数,所以p(y-h(x)) = p(error)。
利用似然性得到l(theta) = p(y_1-h(x_1))*p(y_2-h(x_2))*...*p(y_m-h(x_m)),因为error独立,故让l(theta)最大就可以得到error最小(这个可以根据正太分布的图形知道,当位于中心点的时候误差为0,此时概率最大)由于error符合高斯分布,带入到高斯分布函数中,就可以得到一个表达式(这个表达式太复杂了,csdn编辑器不支持,我就不写了),然后对l两边求log,最后就可以得到J。
相关文章推荐
- 【机器学习详解】线性回归、梯度下降、最小二乘的几何和概率解释
- 线性回归-5-代价函数
- Machine Learning(Stanford)| 斯坦福大学机器学习笔记--第一周(2.线性回归,代价函数)
- 线性回归 最小二乘 梯度下降 随机梯度下降
- 模式识别之线性回归---最小二乘和线性回归
- 最小二乘与交叉熵代价函数的区别(作用及公式推导)
- 最小二乘与岭回归的概率论解释
- 局部加权回归、最小二乘的概率解释、逻辑斯蒂回归、感知器算法——斯坦福ML公开课笔记3
- 模式识别之线性回归---最小二乘和线性回归2
- 使用fminunc找逻辑回归(logistic)代价函数的最小值
- 使用fminunc找逻辑回归(logistic)代价函数的最小值
- 线性回归之代价函数除2m
- 机器学习笔记三 - 局部加权回归、最小二乘的概率解释、逻辑斯蒂回归、感知器算法
- [置顶] 局部加权回归、最小二乘的概率解释、逻辑斯蒂回归、感知器算法——斯坦福ML公开课笔记3
- Stanford大学机器学习公开课(三):局部加权回归、最小二乘的概率解释、逻辑回归、感知器算法
- derivative of cost function for Logistic Regression 逻辑回归代价函数偏导证明
- 机器学习笔记-6.5逻辑回归的代价函数及其求导
- 由CloseHandle()函数引发的关于线程和线程句柄的一些解释
- 回归——线性回归,Logistic回归,范数,最大似然,梯度,最小二乘……
- Andrew NG 机器学习听课笔记(2)——过学习与欠学习,最小二乘的概率意义、logistic回归