逻辑回归和SVM的比较
2017-03-06 19:39
405 查看
两种方法都是常见的分类算法,其中心思想都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点,去学习分类器。而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重。两者的根本目的都是一样的。
比较:
0、LR给出了后验概率,SVM只有01分类,没有后延概率
1、LR采用logistic损失(误差平方和损失),SVM采用合页(Hinge)损失。(损失函数是二者的本质区别)
2、LR对异常值敏感;SVM对异常值不敏感,泛华能力强,分类效果好。
3、在训练集较小时,SVM较适用,而LR需要较多的样本。
4、LR模型找到的那个超平面,是尽量让所有点都远离他,而SVM寻找的那个超平面,是只让最靠近中间分割线的那些点尽量远离,即只用到那些支持向量的样本。
5、对非线性问题的处理方式不同,LR主要靠特征构造,必须组合交叉特征,特征离散化;SVM也可以这样,还可以通过kernel,kernel很强大。
6、LR相对来说模型更简单,好理解,实现起来,特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些。但是SVM的理论基础更加牢固,有一套结构化风险最小化的理论基础.
VM优缺点:
优:泛化错误率低,计算开销不大,结果易解释。
缺:SVM对参数调节和核函数的选择敏感,原始分类器不加修改仅适用于处理二类问题。
Logistic优缺点:
优:计算代价不高,易于理解和实现。
缺:容易欠拟合,分类精度可能不高。
比较:
0、LR给出了后验概率,SVM只有01分类,没有后延概率
1、LR采用logistic损失(误差平方和损失),SVM采用合页(Hinge)损失。(损失函数是二者的本质区别)
2、LR对异常值敏感;SVM对异常值不敏感,泛华能力强,分类效果好。
3、在训练集较小时,SVM较适用,而LR需要较多的样本。
4、LR模型找到的那个超平面,是尽量让所有点都远离他,而SVM寻找的那个超平面,是只让最靠近中间分割线的那些点尽量远离,即只用到那些支持向量的样本。
5、对非线性问题的处理方式不同,LR主要靠特征构造,必须组合交叉特征,特征离散化;SVM也可以这样,还可以通过kernel,kernel很强大。
6、LR相对来说模型更简单,好理解,实现起来,特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些。但是SVM的理论基础更加牢固,有一套结构化风险最小化的理论基础.
VM优缺点:
优:泛化错误率低,计算开销不大,结果易解释。
缺:SVM对参数调节和核函数的选择敏感,原始分类器不加修改仅适用于处理二类问题。
Logistic优缺点:
优:计算代价不高,易于理解和实现。
缺:容易欠拟合,分类精度可能不高。
相关文章推荐
- 机器学习c12笔记:SVM学习与SVM,逻辑回归和kNN比较
- 【scikit-learn】07:数据加载,数据归一,特征选择,逻辑回归,贝叶斯,k近邻,决策树,SVM
- 逻辑回归和SVM的区别
- 逻辑回归和SVM的区别
- 逻辑回归(Logistic Regression)和SVM的联系以及Kernel
- 信用评分之六--逻辑回归模型梯度下降法跟牛顿法比较
- 机器学习概念总结笔记(二)——逻辑回归、贝叶斯分类、支持向量分类SVM、分类决策树ID3、
- tf-idf、逻辑回归和SVM on spark
- Spark MLlib回归算法------线性回归、逻辑回归、SVM和ALS
- 判别式分类器vs生成式分类器:逻辑回归和朴素贝叶斯的比较
- Spark MLlib回归算法------线性回归、逻辑回归、SVM和ALS
- 林轩田--机器学习技法--SVM笔记5--核逻辑回归(Kernel+Logistic+Regression)
- 从逻辑回归到SVM
- xbgoost svm 逻辑回归 梯度下降等推导过程
- SVM支持向量机和逻辑回归进行心音信号简单二分类
- [机器学习笔记] 支持向量机SVM 和逻辑回归LR的异同
- 如何选择SVM,逻辑回归和神经网络算法
- sklearn 数据加载,数据归一,特征选择,逻辑回归,贝叶斯,k近邻,决策树,SVM
- Spark ML机器学习算法svm,als,线性回归,逻辑回归简单试验
- SVM与逻辑回归的区别