机器学习笔记——支持向量机（II）对偶问题(I)

前提

⎧⎩⎨⎪⎪minw,b12||w||2s.t. yi(wTxi+b)≥1,i=1,2,…,m.(prototype)

其中||w||2=(w21+w22+⋯+w2m−−−−−−−−−−−−−−−√)2

(写成minw,b12||w||2方便求导)。

处理

θD(α)=minw,bL(w,b,α)

其对偶问题：

maxαminw,bL(w,b,α)=maxαθD(α)

拉格朗日乘子法

L(w,b,α)=12||w||2+∑i=1mαi(1−yi(wTxi+b))(1)

其中：α=(α1,α2,…,αm)为拉格朗日乘子。

于是令L(w,b,α)对w和b求导。

∂L(w,b,α)∂w=∂(12||w||2+∑i=1mαi(1−yi(wTxi+b)))∂w=∂(12wTw+∑i=1mαi(1−yi(wTxi+b)))∂w=w−∑i=1mαiyixi

∂L(w,b,α)∂b=∂(12||w||2+∑i=1mαi(1−yi(wTxi+b)))∂b=−∑i=1mαiyi

令上面的两个结果都等于0

则得到：

w=∑i=1mαiyixi(2)

0=∑i=1mαiyi(3)

将(2)式代入(1)式

θD(α)=12||w||2+∑i=1mαi(1−yi(wTxi+b))=12wTw+∑i=1mαi(1−yi(wTxi+b))=12∑i=1mαiyixTi∑j=1mαjyjxj+∑i=1mαi⎛⎝1−yi(∑j=1mαjyjxTjxi+b)⎞⎠=∑i=1mαi−12∑i=1mαiyixTi∑j=1mαjyjxj+∑i=1mαiyib

由(3)可以得到：

maxαs.t.∑i=1mαi−12∑i=1m∑j=1mαiyiαjyjxTixj∑i=1mαiyi=0,αi≥0,i=1,2,…,m.

由对偶式可以得α,再由θD(α)得到w,b