面试宝典之Logistics推导
2015-06-25 21:16
666 查看
这个推导更详细些:http://blog.csdn.net/dongtingzhizi/article/details/15962797
logistic regression 从字面上就可以看出,分类实际上也是一种特殊的回归。其与linear regression的不同是输出增加了一个非线性映射,映射到0-1,从而可以利用概率进行分类。
分类问题有很多种模型,包括logistic regression,SVM支持向量机,神经网络等等,logistic是分类问题中最基本的内容。很多教材上也有讲到。但是对logistic函数的来龙去脉讲的并不清楚,到底logistic函数是如何推导出来?我找了很多相关的资料,终于把线索渐渐理清。
在所有讨论之前,我们先把logistic regression二类分类的模型画出来吧,给大家一个直观的感受。
图0. logistic regression 二类分类模型
其中f代表sigmoid函数。可能大家会问了,既然是二类分类,为什么只有一个输出呢?答:假如输出的值是正例的概率,那么反例的概率自然可以由1-P(正例)算出来。所以只用一个变量就够了。好了接下来我们开始引入我们的问题。
问题
图中"+"代表样本值为1,"o"代表样本值为0,求它们的分界线。(来自这里,该页面提供文档及源码)
图1
建立模型
图1中有N个样本,每个样本只能出现"+"或"o",因此每个样本
服从二项分布,设
为正样本出现的出现的概率,二项分布可以写成这样:
(1)
其中每个
是由
和
确定的
(2)
那么函数f到底是具有什么样的形态呢?
我们知道二项分布属于exponential family(详见这篇博文),写成指数分布的好处有很多,包括求似然的时候连成可以变为连加等等。。
为了方便起见,我们先略去下标
,(1)式可以写为
(3)
整理得
(4)
这一步步看似好像我们把(1)变复杂了,非也。现在它可以和exponential famility的标准形式比较一下
exponential family 标准形式:
(5)
我们对比(4)和(5),那么很自然的就有
(6)
也即
(7)
(7)式就是大名鼎鼎的logistic function啊!如是我们就把它推导出来了!
我们再简要的总结一下。能够(-∞,∞)映射到[0,1]的函数有很多,为什么我们就要用logistic函数呢?
原因:
(1)logistic function能让伯努利的指数分布是标准型式,更简洁。
(2)logistic function的求导很简洁,其它函数不行。
导数
,多么简洁!
好了,中间我们插入了这么多,回过头来继续我们的分类问题。
将(7)代入(4),我们得到
(8)
由于
的取值是(-∞,+∞),我们可以令
,因此(8)可以写为
(9)
那么正反例的概率分别是
这和李航《统计学习方法》中逻辑斯蒂回归一节中是一致的,但该书并没有给出这两个公式怎么来的。
为了求解参数w, 我们对(1)式求最大似然,结合(1)(3)可得似然函数
(10)
这个式子很容易化简,得到
(11)
问题就转换成解这个最优化问题了。
我们同时把L关于w的导数也写在下面。
(12)
其中
的定义如(7)。
模型求解
思路一:解析法可行吗?为了求w我们只需令(12)为0就可以了。很可惜,对于(12)没有解析解。(这点与linear regression不同)
思路二:迭代法求解。包括梯度下降法和牛顿法。在linear regression线性回归一文中有介绍。
最终得到结果
好了,我们已经成功解决了线性分类问题。那么万一不是线性可分怎么办?我们将在下一节中解决。
参考资料
【1】http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex4/ex4.html (本文中例程及matlab源码来自这里)
【2】《Pattern Recognition and Machine Learning》第三四章,写的最本质,个人觉得最好的材料。下载这里
【3】《Machine Learning A Probabilistic Perspective》第七八九章,下载这里
【4】《统计学习方法》李航. 第六章。总结的很好,但是不够本质,没有给出公式的推导。看完【2】再看此书会很爽
原文地址:http://blog.csdn.net/richard2357/article/details/17241039
logistic regression 从字面上就可以看出,分类实际上也是一种特殊的回归。其与linear regression的不同是输出增加了一个非线性映射,映射到0-1,从而可以利用概率进行分类。
分类问题有很多种模型,包括logistic regression,SVM支持向量机,神经网络等等,logistic是分类问题中最基本的内容。很多教材上也有讲到。但是对logistic函数的来龙去脉讲的并不清楚,到底logistic函数是如何推导出来?我找了很多相关的资料,终于把线索渐渐理清。
在所有讨论之前,我们先把logistic regression二类分类的模型画出来吧,给大家一个直观的感受。
图0. logistic regression 二类分类模型
其中f代表sigmoid函数。可能大家会问了,既然是二类分类,为什么只有一个输出呢?答:假如输出的值是正例的概率,那么反例的概率自然可以由1-P(正例)算出来。所以只用一个变量就够了。好了接下来我们开始引入我们的问题。
问题
图中"+"代表样本值为1,"o"代表样本值为0,求它们的分界线。(来自这里,该页面提供文档及源码)
图1
建立模型
图1中有N个样本,每个样本只能出现"+"或"o",因此每个样本
服从二项分布,设
为正样本出现的出现的概率,二项分布可以写成这样:
(1)
其中每个
是由
和
确定的
(2)
那么函数f到底是具有什么样的形态呢?
我们知道二项分布属于exponential family(详见这篇博文),写成指数分布的好处有很多,包括求似然的时候连成可以变为连加等等。。
为了方便起见,我们先略去下标
,(1)式可以写为
(3)
整理得
(4)
这一步步看似好像我们把(1)变复杂了,非也。现在它可以和exponential famility的标准形式比较一下
exponential family 标准形式:
(5)
我们对比(4)和(5),那么很自然的就有
(6)
也即
(7)
(7)式就是大名鼎鼎的logistic function啊!如是我们就把它推导出来了!
我们再简要的总结一下。能够(-∞,∞)映射到[0,1]的函数有很多,为什么我们就要用logistic函数呢?
原因:
(1)logistic function能让伯努利的指数分布是标准型式,更简洁。
(2)logistic function的求导很简洁,其它函数不行。
导数
,多么简洁!
好了,中间我们插入了这么多,回过头来继续我们的分类问题。
将(7)代入(4),我们得到
(8)
由于
的取值是(-∞,+∞),我们可以令
,因此(8)可以写为
(9)
那么正反例的概率分别是
这和李航《统计学习方法》中逻辑斯蒂回归一节中是一致的,但该书并没有给出这两个公式怎么来的。
为了求解参数w, 我们对(1)式求最大似然,结合(1)(3)可得似然函数
(10)
这个式子很容易化简,得到
(11)
问题就转换成解这个最优化问题了。
我们同时把L关于w的导数也写在下面。
(12)
其中
的定义如(7)。
模型求解
思路一:解析法可行吗?为了求w我们只需令(12)为0就可以了。很可惜,对于(12)没有解析解。(这点与linear regression不同)
思路二:迭代法求解。包括梯度下降法和牛顿法。在linear regression线性回归一文中有介绍。
最终得到结果
好了,我们已经成功解决了线性分类问题。那么万一不是线性可分怎么办?我们将在下一节中解决。
参考资料
【1】http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex4/ex4.html (本文中例程及matlab源码来自这里)
【2】《Pattern Recognition and Machine Learning》第三四章,写的最本质,个人觉得最好的材料。下载这里
【3】《Machine Learning A Probabilistic Perspective》第七八九章,下载这里
【4】《统计学习方法》李航. 第六章。总结的很好,但是不够本质,没有给出公式的推导。看完【2】再看此书会很爽
原文地址:http://blog.csdn.net/richard2357/article/details/17241039
相关文章推荐
- 剑指offer-第四章解决面试题的思路(从上往下打印二叉树)
- 面试题总结4
- 黑马程序员_内部类的总结
- 黑马程序员---iOS--面对对象的语法
- 黑马程序员-------IO流
- 黑马程序员---Java中传统线程同步通信技术
- 黑马程序员---java中Timer类的介绍以及使用
- java架构师之路:JAVA程序员必看的15本书的电子版下载地址
- 转:10+年程序员总结的20+条经验教训
- 面试题47:不用加减乘除做加法
- 黑马程序员——交通灯管理系统
- 黑马程序员——java基础(一)
- JVM工作原理和特点(一些二逼的逼神面试官会问的问题)
- 黑马程序员——Java基础之面向对象(二)文档注释与设计模式
- 程序员必须知道的10大基础实用算法
- 黑马程序员--C基础--数组
- Java程序员转Android开发必读经验分享
- GRE写作之职业选择类相关范文
- javase面试题
- 面试题总结3