您的位置:首页 > 职场人生

机器学习面试第1弹 常用分类算法的优缺点 + 线性回归vs.逻辑回归 + 逻辑回归vs. SVM

2019-03-21 20:04 661 查看

 

1. 常用分类算法的优缺点

2. 线性回归vs.逻辑回归

 

3. 逻辑回归vs. SVM

相同点: 
       1.都是分类模型 
       2.都是判别模型 
不同点: 
       1.从损失函数角度:SVM用的是hinge loss,而logistic回归用的是对率损失 

       2. 从风险函数角度:SVM软间隔自带正则,属于结构风险最小化;logistic属于经验风险最小化;

       3. 从模型角度:logistic回归对先验分布有要求(伯努利分布),属于参数模型,SVM属于非参模型;
       4..从方法角度: SVM用的是统计方法,SVM最大间隔有完备的理论,logistic回归是概率方法。 
       5.从对噪声的影响角度:SVM对噪声比较敏感,而logistic回归对噪声不是很敏感,是因为如果噪声点落在了支持向量上,将会直接影响判别面的方程。而logistic回归通过最大似然求解模型参数,将会弱化噪声的影响。 
       6. 从结果角度:SVM只能得到测试点属于哪一类,而logistic回归能得到属于哪一类的概率,当然在SVM也可以通过样本点离判别面的相对距离进行输出属于该类的概率。 
       7. 从优化方法角度:SVM有专门属于自己的特点的优化方法,SMO算法,该算法对于优化SVM非常的高效。logistic回归可以通过一些常用的算法,如梯度下降,共轭梯度下降,牛顿法 
       8. 处理非线性的角度: SVM可以通过核方法,logistic可以通过特征的离散化将其非线性化。 
       9..处理大数据角度: SVM很难处理大数据,因为SVM模型主要是由支持向量决定,而支持向量随着数据量多项式增加。而logistic可以很容易运用到大数据当中。

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: