支持向量机(SVM)中对偶问题的理解

在硬间隔支持向量机中，问题的求解可以转化为凸二次规划问题：

minw,b12||w||2s.t.yi(wTxi+b)≥1,i=1,2,⋯,m.(1)(2)(1)(1)(1)minw,b12||w||2(2)s.t.yi(wTxi+b)≥1,i=1,2,⋯,m.

如何得到该式的可参考：支持向量机

理解一

minw,bmaxαi≥0{12||w||2+∑i=1mαi(1−yi(wTxi+b))}(2)(2)minw,bmaxαi≥0{12||w||2+∑i=1mαi(1−yi(wTxi+b))}

上式等价于原问题，因为若满足(1)中不等式约束，则(2)式求max时，αi(1−yi(wTxi+b))αi(1−yi(wTxi+b))必须取0，与(1)等价；若不满足(1)中不等式约束，(2)中求max会得到无穷大。

交换min和max获得其对偶问题

maxαi≥0minw,b{12||w||2+∑i=1mαi(1−yi(wTxi+b))}maxαi≥0minw,b{12||w||2+∑i=1mαi(1−yi(wTxi+b))}

交换之后的对偶问题和原问题并不相等，直观地，我们可以这样来理解：胖子中最瘦的那个都比瘦子中最胖的那个要胖。故上式的解小于等于原问题的解。当然这是很不严格的说法，而且扣字眼的话可以纠缠不休，所以我们还是来看其他严格数学意义上的理解。

理解二

现在的问题是如何找到问题(1) 的最优值的一个最好的下界?

12||w||2<v1−yi(wTxi+b)≤0(3)(3)12||w||2<v1−yi(wTxi+b)≤0

若方程组(3)无解， 则v是问题(1)的一个下界。

若(3)有解， 则

∀α>0, minw,b{12||w||2+∑i=1mαi(1−yi(wTxi+b))}<v∀α>0, minw,b{12||w||2+∑i=1mαi(1−yi(wTxi+b))}<v

由逆否命题得：若

∃α>0, minw,b{12||w||2+∑i=1mαi(1−yi(wTxi+b))}≥v∃α>0, minw,b{12||w||2+∑i=1mαi(1−yi(wTxi+b))}≥v

则(3)无解。

那么v是问题(1)的一个下界。

要求得一个好的下界，取最大值即可

maxαi≥0minw,b{12||w||2+∑i=1mαi(1−yi(wTxi+b))}maxαi≥0minw,b{12||w||2+∑i=1mαi(1−yi(wTxi+b))}

理解三

令

L(w,b,a)=12||w||2+∑i=1mαi(1−yi(wTxi+b))L(w,b,a)=12||w||2+∑i=1mαi(1−yi(wTxi+b))

p∗p∗为原问题的最小值，对应的ww b分别为w∗w∗和b∗b∗，则对于任意的a>0a>0：

p∗=12||w∗||2≥L(w∗,b,a)≥minw,bL(w,b,a)p∗=12||w∗||2≥L(w∗,b,a)≥minw,bL(w,b,a)

那么minw,bL(w,b,a)minw,bL(w,b,a)是问题(1)的一个下界。

要求得一个好的下界，取最大值即可

maxαi≥0minw,bL(w,b,a)maxαi≥0minw,bL(w,b,a)

参考：如何通俗地讲解对偶问题