学习SVM中的一些感悟

1.根据KKT条件可知只有支持向量所对应的参数a才不为0，这也说明了支持向量对于得到的超平面起到决定性作用。
2.利用KKT条件提出了对偶问题的解为原问题解的要求，即需要满足ai*(y(i)*(w*x+b)-1)=0，i=1...m
3.线性可分支持向量机与线性支持向量机两者最大的区别在于ai是否有上界C，此处的C称为惩罚参数。
4.引入惩罚因子可将误分类的样本对于得到的模型的贡献限制到一定范围内，从而可以避免过拟合（或者说模型对于误分类样本过于敏感）导致模型的精度下降。
5.支持向量机模型实际上可以看作支持向量的耦合解（有点类似振动中的模态分解和固有频率的含义），各个支持向量对于模型的贡献程度就是通过参数ai来控制的，惩罚参数则是给这个参数ai一个上界，以确保某个支持向量所占用的影响过大。

参考文献：《统计学习方法》 李航