机器学习
2015-12-04 17:38
134 查看
机器学习三要素:模型、目标、算法,model cost function
著作权归作者所有。
商业转载请联系作者获得授权,非商业转载请注明出处。
作者:周小涛
链接:http://www.zhihu.com/question/24900876/answer/65176508
来源:知乎
Linear Regression的cost function是最小二乘,即
但是Logistic Regression的cost function却是
为什么Logistic Regression不使用最小二乘做cost function呢?
答案是各自的响应变量 服从不同的概率分布。
在Linear Regression中,前提假设是 服从正态分布,即 ,而Logistic中的 是服从二项分布的,即 。(为什么不服从正态?因为 非0即1啊!)
因而,在用极大似然估计计算时,所得到的cost function自然是不一样的。(可自行推导)
然而,只有目标是没用的,我们还要有方法来达到目标,这里的方法就是上述的算法——最优化算法。包括常用的梯度下降法(最速下降法)、牛顿法、拟牛顿法等。这样,一个机器学习算法就算完整了,因为可以用这些最优化算法来 求出 。
相关文章推荐
- 《机器学习 实用案例解析》读书笔记0
- 利用Python,四步掌握机器学习
- 机器学习中各种基本的回归模型的汇总
- 机器学习Tensorflow基于MNIST数据集识别自己的手写数字(读取和测试自己的模型)
- 机器学习第一课:微积分原理的多元扩展
- 个人学习总结一机器学习入门(六)
- 机器学习9(2)推荐系统
- 机器学习中的相似性度量
- Core ML 与 Vision:iOS 11 机器学习教程
- Coursera机器学习 week2 assignment
- 机器学习笔记3-id3算法决策树程序解析
- 机器学习-kNN算法改进约会效果
- 机器学习之岭回归
- 值得收藏 | 关于机器学习,这可能是目前最全面最无痛的入门路径和资源!
- 机器学习、神经网络的几个概念区分
- 机器学习笔记1-Supervised learning
- 机器学习-损失函数
- Scala语言 + Spark MLLib进行机器学习---线性回归
- [机器学习笔记]奇异值分解SVD简介及其在推荐系统中的简单应用