机器学习20-线性支持向量机svm公式推导（二）

    分类完全正确不一定是最好的，如果我们分类忽略那些异常值可能更好，此时在线性可分svm公式推导（一）上增加松弛因子可以很好的解决这类问题。





虽然图二分错了一个样本，但图二分的更好，因为图二支撑间距比图一的大。

若增加松弛因子，使函数间距加上松弛变量大于等于1，这样约束条件变成



目标函数：



松弛因子在几何上的表现形式如下：



如果松弛因子等于0.8，则允许大于等于0.2的，则在大于等于0.2都算分对

如法炮制，推导线性SVM的公式

目标函数







可以看出线性可分SVM与线性SVM差别就是多出一个C，当C取无穷大时，线性SVM就退化成了线性可分SVM













以正例说明

当样本落在支撑线之外：alpha = 0 ，松弛因子 = 0 

当样本落在支撑线上：0 < alpha < c ，松弛因子 = 0 

当样本落在支撑线之内：alpha = c

以样本到直线的距离为横轴，损失值为竖轴。