线性回归, 逻辑回归和线性分类器
2017-09-01 18:02
253 查看
本文系转载,原文地址:http://blog.csdn.net/weixin_35653315/article/details/54599771
线性回归, Linear Regression
逻辑回归, Logistic Regression
线性分类器, Linear Classifier
逻辑分类器, Logistic Classifier. 注意, 这个名词是我在文章中为了方便说明问题造出来的.
线性回归可以看作一个Perceptron, 激活函数是identical, 即f(x)=x.
将逻辑回归也可以看作一个Perceptron, 不同的是使用了sigmoid激活函数.
一般的说法是, 线性回归是真正的回归, 而逻辑回归是一个分类器, 不是真回归. 这算是一个约定俗成的一个失误性命名吗? NO. 逻辑回归的主体还是回归操作: 回归对象是sigmoid函数, 它将输入映射为一个处于0到1之间的小数. 得到这个0到1之间的小数之后人为将其解读成概率, 然后根据事先设定的阈值进行分类. 回归操作的工作量在整个Logistic Regression中保守估计也得超过99%.
以这个算法的主体---逻辑回归来命名算法是无可厚非的. 当然, 若一定要叫Logistic Classifier也是可以的, 只不过大家都不这么叫而已.
已经有了Logistical Regression, Logistic Classifier, Linear Regression, 很自然的就能想到 Linear Classifier. Logistic Classifier是在Logistic Regression之后加了一步. 虽然Linear Classifier 与Linear Regression 之间没有这种关系,
但它们在形式上还是很相似的:
Logistic Regression(这里特指回归操作):
f(x)=sigmoid(wTx+b)
Logistic Classifier:
y={1−1f(x)≥0.5f(x)<0.5
Linear Regression:
f(x)=wTx+b
Linear Classifier:
y={1−1f(x)≥0f(x)<0
是不是很具有迷惑性?
可这只是表面现象, 因为Linear Classifier里的f(x)并不是通过Linear
Regression得到的. 说到这里就得给Linear Classifier下一个定义了. 简单的讲, Linear Classifier就是以超平面(Hyperplane)为决策边界(Decision Boundary)的分类器. 常见的Linear Classifier有Logistic Regression, SVM, Perceptron. 很明显,
这些个分类算法都不是通过Linear Regression 得到自己的分类超平面的.
还有一类经常引起争论的问题: 数据集D在原始输入空间χ上是线性不可分的,
但将其映射到另外一个空间, 称为特征空间H上又成了线性可分的.
例如χ→H:x→(x,x2,x3),
判定函数为
f(x)={1−1,x+x2+x3≥0,x+x2+x3<0
问这个分类器是线性还是非线性的? (其实是使用了kernel)
我个人的看法是: 在特征空间H上是线性的,
在原始输入空间χ上是非线性的.
如果不指明是哪个空间, 默认为原始输入空间, 为非线性的.
线性回归, Linear Regression
逻辑回归, Logistic Regression
线性分类器, Linear Classifier
逻辑分类器, Logistic Classifier. 注意, 这个名词是我在文章中为了方便说明问题造出来的.
线性回归可以看作一个Perceptron, 激活函数是identical, 即f(x)=x.
将逻辑回归也可以看作一个Perceptron, 不同的是使用了sigmoid激活函数.
一般的说法是, 线性回归是真正的回归, 而逻辑回归是一个分类器, 不是真回归. 这算是一个约定俗成的一个失误性命名吗? NO. 逻辑回归的主体还是回归操作: 回归对象是sigmoid函数, 它将输入映射为一个处于0到1之间的小数. 得到这个0到1之间的小数之后人为将其解读成概率, 然后根据事先设定的阈值进行分类. 回归操作的工作量在整个Logistic Regression中保守估计也得超过99%.
以这个算法的主体---逻辑回归来命名算法是无可厚非的. 当然, 若一定要叫Logistic Classifier也是可以的, 只不过大家都不这么叫而已.
已经有了Logistical Regression, Logistic Classifier, Linear Regression, 很自然的就能想到 Linear Classifier. Logistic Classifier是在Logistic Regression之后加了一步. 虽然Linear Classifier 与Linear Regression 之间没有这种关系,
但它们在形式上还是很相似的:
Logistic Regression(这里特指回归操作):
f(x)=sigmoid(wTx+b)
Logistic Classifier:
y={1−1f(x)≥0.5f(x)<0.5
Linear Regression:
f(x)=wTx+b
Linear Classifier:
y={1−1f(x)≥0f(x)<0
是不是很具有迷惑性?
可这只是表面现象, 因为Linear Classifier里的f(x)并不是通过Linear
Regression得到的. 说到这里就得给Linear Classifier下一个定义了. 简单的讲, Linear Classifier就是以超平面(Hyperplane)为决策边界(Decision Boundary)的分类器. 常见的Linear Classifier有Logistic Regression, SVM, Perceptron. 很明显,
这些个分类算法都不是通过Linear Regression 得到自己的分类超平面的.
还有一类经常引起争论的问题: 数据集D在原始输入空间χ上是线性不可分的,
但将其映射到另外一个空间, 称为特征空间H上又成了线性可分的.
例如χ→H:x→(x,x2,x3),
判定函数为
f(x)={1−1,x+x2+x3≥0,x+x2+x3<0
问这个分类器是线性还是非线性的? (其实是使用了kernel)
我个人的看法是: 在特征空间H上是线性的,
在原始输入空间χ上是非线性的.
如果不指明是哪个空间, 默认为原始输入空间, 为非线性的.
相关文章推荐
- (理解)线性回归, 逻辑回归和线性分类器,Softmax回归。
- 线性回归, 逻辑回归和线性分类器
- 对线性回归、逻辑回归、各种回归的概念学习
- 对数线性模型之一(逻辑回归), 广义线性模型学习总结
- 深度学习1-线性回归,逻辑回归
- 机器学习常见的几个误区--逻辑回归的变量之间如果线性相关
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 线性回归与逻辑回归思考
- 逻辑回归到底是线性的还是非线性的?
- 对线性回归、逻辑回归、各种回归的概念学习
- 深度学习2线性回归,逻辑回归
- 线性回归和逻辑回归正则化
- 机器学习(1):线性回归和逻辑回归
- 对线性回归、逻辑回归、各种回归的概念学习
- 对线性回归、逻辑回归、各种回归的概念学习
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 对数线性模型之一(逻辑回归), 广义线性模型学习总结
- 《机器学习》学习笔记(一):线性回归、逻辑回归
- 深度学习3线性回归,逻辑回归