机器学习面试第1弹 常用分类算法的优缺点 + 线性回归vs.逻辑回归 + 逻辑回归vs. SVM
2019-03-21 20:04
661 查看
1. 常用分类算法的优缺点
2. 线性回归vs.逻辑回归
3. 逻辑回归vs. SVM
相同点:
1.都是分类模型
2.都是判别模型
不同点:
1.从损失函数角度:SVM用的是hinge loss,而logistic回归用的是对率损失
2. 从风险函数角度:SVM软间隔自带正则,属于结构风险最小化;logistic属于经验风险最小化;
3. 从模型角度:logistic回归对先验分布有要求(伯努利分布),属于参数模型,SVM属于非参模型;
4..从方法角度: SVM用的是统计方法,SVM最大间隔有完备的理论,logistic回归是概率方法。
5.从对噪声的影响角度:SVM对噪声比较敏感,而logistic回归对噪声不是很敏感,是因为如果噪声点落在了支持向量上,将会直接影响判别面的方程。而logistic回归通过最大似然求解模型参数,将会弱化噪声的影响。
6. 从结果角度:SVM只能得到测试点属于哪一类,而logistic回归能得到属于哪一类的概率,当然在SVM也可以通过样本点离判别面的相对距离进行输出属于该类的概率。
7. 从优化方法角度:SVM有专门属于自己的特点的优化方法,SMO算法,该算法对于优化SVM非常的高效。logistic回归可以通过一些常用的算法,如梯度下降,共轭梯度下降,牛顿法
8. 处理非线性的角度: SVM可以通过核方法,logistic可以通过特征的离散化将其非线性化。
9..处理大数据角度: SVM很难处理大数据,因为SVM模型主要是由支持向量决定,而支持向量随着数据量多项式增加。而logistic可以很容易运用到大数据当中。
相关文章推荐
- 机器学习常用算法(3)逻辑回归
- 【机器学习笔记四】分类算法 - 逻辑回归
- 各常用分类算法的优缺点总结:DT/ANN/KNN/SVM/GA/Bayes/Adaboosting/Rocchio
- 机器学习常用的分类算法优缺点、
- 机器学习概念总结笔记(二)——逻辑回归、贝叶斯分类、支持向量分类SVM、分类决策树ID3、
- 机器学习(二)广义线性模型:逻辑回归与Softmax分类
- stanford coursera 机器学习编程作业 exercise 3(逻辑回归实现多分类问题)
- 【机器学习-西瓜书】三、逻辑回归(LR);线性判别分析(LDA)
- 《机器学习》学习笔记(一):线性回归、逻辑回归
- 用Python开始机器学习(7:逻辑回归分类) --好!!
- 机器学习(七)线性回归、正规方程、逻辑回归的正规化
- 分类算法----逻辑回归预测
- [转载] 大数据常用的算法(分类、回归分析、聚类、关联规则)
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 分类算法----线性可分支持向量机(SVM)算法的原理推导
- 机器学习——分类算法4:Logistic回归 梯度上升 思想 和 代码解释
- 分类的线性模型:概率判别式模型之逻辑回归LR
- 机器学习——线性模型之回归与分类
- 林轩田--机器学习技法--SVM笔记5--核逻辑回归(Kernel+Logistic+Regression)
- 机器学习-分类和逻辑回归