机器学习笔记（XIX)支持向量机(I)基本概念

支持向量机（Support Vector Machine）

前提

训练集：D={(x1,y1),(x2,y2),…,(xm,ym)},yi∈{−1,+1}

目标

在样本空间中找到一个超平面，将不同类别的样本分开。

超平面

定义

wTx+b=0

其中w=(w1;w2;…;wd)=⎛⎝⎜⎜⎜⎜w1w2⋮wd⎞⎠⎟⎟⎟⎟为法向量决定了超平面的方向，b为位移项，决定了超平面和原点之间的距离。

有了w和b可以唯一确定一个超平面。

点到平面的距离

空间中任意的点x到平面(x,b)的距离可以表示为：

r=|wTx+b|||w||

支持向量和间隔

假设超平面(w,b)可以将训练样本正确分类：即对于(xi,yi)∈D

若yi=+1则由wTx+b>0

若yi=−1则由wTx+b<0

令：

{wTxi+b≥+1,yi=+1;wTxi+b≤−1,yi=−1;(A)

使得等式A中等号成立的几个训练样本被称为“支持向量”

两个异类的支持向量到超平面的距离之和γ=2||w||

支持向量机

要使得分类效果最好，则希望间隔γ最大

maxw,b2||w||s.t. yi(wTxi+b)≥1,i=1,2,…,m.

如果最大化||w||−1则等价于最小化||w||2

上式等价于：

minw,b12||w||2s.t. yi(wTxi+b)≥1,i=1,2,…,m.(prototype)

prototype就是支持向量机的基本型。