第七集 最优间隔分类器问题

本课首先提出了原始的优化问题：最优间隔分类器问题，之后介绍了对偶问题的概念和KKT条件，之后基于原始优化问题的对偶问题的分析，介绍了SVM算法。课程的最后对SVM算 法进行了评价，以引出下节课对核方法的介绍。

回顾：

对于几何间隔来说，以相同的比例缩放w,b，不会对几何间隔造成影响。

对最大间隔分类器的另一种表述：
优化目标：


约束条件：


下面对这个优化问题进行等效分析：

，又因为


，所以优化目标就变成了

，约束条件为


。

下面要用到的知识为拉格朗日数乘法，具体定义可以百度。这里提出几个重要概念，约束条件，拉格朗日算子，拉格朗日乘数。



原始优化

假设我们为解决一个问题而定下的优化目标为

，而它的约束条件为:


所以针对这个问题的拉格朗日算子为：


定义



下面让我们来考虑一种情况，即约束条件被违背时会发生什么。

如果

，这是因为


可以取任意大的正数；如果


。所以在满足所有约束条件的情况下：



所以

即为原始问题。

对偶优化



上面原始问题的对偶优化问题如下所示:



在一定条件下，原始优化和对偶优化会取相同的值。即

。我们通常会通过求解一个问题的对偶问题来解决原始问题。这是因为对偶问题往往更加简单并且有很多很有用的性质。

原始问题与对偶问题等价的条件

令f(w)为凸函数，假设

，然后


是原始问题的解；


是拉格朗日乘数，是对偶问题的解，并且


。

则等价条件是：



以上条件统称为KKT互补条件。

根据KKT互补条件和实际情况，我们不妨做出如下推论：



下面介绍SVM中所用的拉格朗日数乘法：

在SVM中，只需要一组拉格朗日乘数

，有两组参数w,b。



拉格朗日算子为：



图形示意如下，只有函数间隔为1且

不等于0的数据点才能称作支持向量。



对偶问题



将倒数第二个式子代入原始问题的拉格朗日算子中可得：



在对偶问题中我们的目标是最大化

，同时满足以下约束条件：



当我们解出

后可以根据下面的式子解出其他参数：



另外可根据下式判断出新输入的数据点的类别: