深度学习3线性回归,逻辑回归
2014-02-16 20:51
302 查看
为什么采用平方和作为错误估计函数,不是不是绝对值或者4次方之类。
假设根据特征的预测结果跟实际结果之间有误差,误差为
,那么真实值
跟预测值
之间有如下关系:
这个i指的是每一个训练数据。
对于误差,前面提到过图像产生的误差,根据中心极限定理,一般的误差服从正态分布。
假设误差服从
,则
即:
上式是θ是参数,是y在x下的条件概率。
这个也就转化成了,我们已经知道了试验结果,就是知道了一个样本的结果概率,我们希望的就是这些概率值越大越好,那也就是概率积,也就是求最大似然估计,就是求概率积最大的时候那个参数θ。即求:
最大时候的θ
对于求这个我们一般取对数,即:
这样,式子里面含有了
,也就是这个越小,
越大,也就是
最小的时候,
最大。这样也就说明了为什么采用平方和的原因。
下面讲的是局部加权线性回归。
即:
x是要预测的特征,也就是样本离x越近,则权重越大,越远,权重越小,具体没有更深入理解。
假设根据特征的预测结果跟实际结果之间有误差,误差为
,那么真实值
跟预测值
之间有如下关系:
这个i指的是每一个训练数据。
对于误差,前面提到过图像产生的误差,根据中心极限定理,一般的误差服从正态分布。
假设误差服从
,则
即:
上式是θ是参数,是y在x下的条件概率。
这个也就转化成了,我们已经知道了试验结果,就是知道了一个样本的结果概率,我们希望的就是这些概率值越大越好,那也就是概率积,也就是求最大似然估计,就是求概率积最大的时候那个参数θ。即求:
最大时候的θ
对于求这个我们一般取对数,即:
这样,式子里面含有了
,也就是这个越小,
越大,也就是
最小的时候,
最大。这样也就说明了为什么采用平方和的原因。
下面讲的是局部加权线性回归。
即:
x是要预测的特征,也就是样本离x越近,则权重越大,越远,权重越小,具体没有更深入理解。
相关文章推荐
- 深度学习2线性回归,逻辑回归
- 深度学习3线性回归,逻辑回归
- 深度学习1-线性回归,逻辑回归
- 深度学习1-线性回归,逻辑回归
- 深度学习2线性回归,逻辑回归
- 深度学习4线性回归,逻辑回归
- 对数线性模型之一(逻辑回归), 广义线性模型学习总结(转)
- 吴恩达深度学习课程笔记 2.2Logistic Regression逻辑回归
- 对数线性模型之一(逻辑回归), 广义线性模型学习总结
- 对线性回归、逻辑回归、各种回归的概念学习
- [深度学习]Python/Theano实现逻辑回归网络的代码分析
- 斯坦福机器学习公开课7-x线性回归逻辑回归的正则化min
- 对线性回归、逻辑回归、各种回归的概念学习
- 对线性回归、逻辑回归、各种回归的概念学习
- TensorFlow 深度学习笔记 逻辑回归 实践篇
- 对线性回归、逻辑回归、各种回归的概念学习
- 机器学习--线性回归、逻辑回归
- 深度学习(逻辑回归)
- 深度学习入门实战(三)-图片分类中的逻辑回归
- 对线性回归、逻辑回归、各种回归的概念学习