机器学习面试知识点总结（三）——SVM
第三章 经典算法（一）
《百面机器学习》第三章是经典算法，第一个经典算法就是SVM。但是书中对SVM的讲解比较简略，而李航老师的《统计学习方法》拿出非常大的篇幅对SVM进行详细讲解，所以本篇先参考《统计学习方法》复习下SVM相关知识点，再看下《百面》中涉及SVM的面试题。
SVM
（此部分主要参考李航老师的《统计学习方法》）
支持向量机（support vector machines，SVM）是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题，也等价于正则化的合页损失函数的最小化问题。
支持向量机按模型复杂程度可以分为线性可分支持向量机（linear support vector machine in linearly separable case）、线性支持向量机（linear support vector machine）、非线性支持向量机（non-linear support vector machine）。
当训练数据线性可分时，通过硬间隔最大化学习一个线性的分类器；当训练数据近似线性可分时，通过软间隔最大化学习一个线性分类器；当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。
1. 线性可分支持向量机
定义
给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为
w∗⋅x+b∗=0
w^*\cdot x + b^* = 0
w∗⋅x+b∗=0
以及相应的分类决策函数
f(x)=sign(w∗⋅x+b∗)
f(x)=sign(w^*\cdot x + b^*)
f(x)=sign(w∗⋅x+b∗)
称为线性可分支持向量机。
几何间隔和函数间隔
几何间隔的定义
几何间隔一般是实例点到超平面的带符号的距离，当样本点被超平面正确分类时就是实例点到超平面的距离。
对于给定的训练数据集TTT和超平面(w,bw,bw,b)，定义超平面(w,bw,bw,b)关于样本点(xi,yix_i,y_ixi,yi)的几何间隔为
γi=yi(w∥w∥⋅x+b∥w∥)
\gamma_i = y_i(\frac w {\lVert w \rVert} \cdot x + \frac b {\lVert w \rVert})
γi=yi(∥w∥w⋅x+∥w∥b)
定义超平面(w,bw,bw,b)关于训练数据集TTT的几何间隔为超平面(w,bw,bw,b)关于TTT中所有样本点(xi,yix_i, y_ixi,yi)的几何间隔的最小值，即
γ=mini=1,...,Nγi
\gamma = \min_{i=1,...,N} \gamma_i
γ=i=1,...,Nminγi
几何间隔的推导过程
函数间隔的定义
对于给定的训练数据集TTT和超平面(w,bw,bw,b)，定义超平面(w,bw,bw,b)关于样本点(xi,yix_i,y_ixi,yi)的函数间隔为
γ^i=yi(w⋅xi+b)
\hat \gamma_i = y_i(w\cdot x_i + b)
γ^i=yi(w⋅xi+b)
定义超平面(w,bw,bw,b)关于训练数据集TTT的函数间隔为超平面(w,bw,bw,b)关于TTT中所有样本点(xi,yix_i, y_ixi,yi)的函数间隔的最小值，即
γ^=mini=1,...,Nγ^i
\hat \gamma = \min_{i=1,...,N} \hat \gamma_i
γ^=i=1,...,Nminγ^i
函数间隔与几何间隔有以下关系：
γi=γ^i∥w∥
\gamma_i = \frac{\hat \gamma_i}{\lVert w \rVert}
γi=∥w∥γ^iγ=γ^∥w∥
\gamma=\frac{\hat \gamma}{\lVert w \rVert}
γ=∥w∥γ^
间隔最大化
支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面，对线性可分的训练数据集而言，线性可分分离超平面有无穷多个，但是几何间隔最大的分离超平面是唯一的。
间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。
最大间隔分离超平面
考虑如何求得一个几何间隔最大的分离超平面，即最大间隔分离超平面，具体的，这个问题可以表示为下面的约束最优化问题：
maxw,bγ
\max_{w,b} \quad \gamma
w,bmaxγs.t.yi(w∥w∥⋅xi+b∥w∥)⩾γ,i=1,2,...,N
s.t. \quad y_i(\frac w {\lVert w \rVert} \cdot x_i+\frac b {\lVert w \rVert}) \geqslant \gamma, \quad i=1,2,...,N
s.t.yi(∥w∥w⋅xi+∥w∥b)⩾γ,i=1,2,...,N
即我们希望最大化超平面(w,b)(w,b)(w,b)关于训练数据集的几何间隔γ\gammaγ，约束条件表示的是超平面(w,bw,bw,b)关于每个训练样本点的几何间隔至少是γ\gammaγ。
上述条件式左右同乘∥w∥\lVert w \rVert∥w∥，
maxw,bγ^∥w∥
\max_{w,b} \frac{\hat\gamma}{\lVert w \rVert}
w,bmax∥w∥γ^s.t.yi(w⋅xi+b)⩾γ^,i=1,2,...,N
s.t. \quad y_i(w \cdot x_i + b) \geqslant \hat \gamma,\quad i=1,2,...,N
s.t.yi(w⋅xi+b)⩾γ^,i=1,2,...,N
可以看出函数间隔γ^\hat \gammaγ^并不影响最优化问题的解，而且，最大化1∥w∥\frac 1 {\lVert w \rVert}∥w∥1和最小化12∥w∥2\frac 1 2 \lVert w \rVert^221∥w∥2是等价的，所以最优化问题变为：
minw,b12∥w∥2
\min_{w,b} \frac 1 2 \lVert w \rVert^2
w,bmin21∥w∥2s.t.yi(w⋅xi+b)−1⩾0,i=1,2,...,N
s.t. \quad y_i(w\cdot x_i + b)-1\geqslant 0,\quad i=1,2,...,N
s.t.yi(w⋅xi+b)−1⩾0,i=1,2,...,N
这样做的意义是把之前的优化问题转化为凸优化问题进行求解。
所谓凸优化问题，是指约束最优化问题
minwf(w)
\min_w \quad f(w)
wminf(w)s.t.gi(w)⩽0,i=1,2,...,k
s.t. \quad g_i(w) \leqslant 0, \quad i=1,2,...,k
s.t.gi(w)⩽0,i=1,2,...,khi(w)=0,i=1,2,..,l
\qquad h_i(w)=0,\quad i=1,2,..,l
hi(w)=0,i=1,2,..,l
其中，目标函数f(w)f(w)f(w)和约束函数gi(w)g_i(w)gi(w)都是RnR^nRn上的连续可微的凸函数，约束函数hi(w)h_i(w)hi(w)是RnR^nRn上的仿射函数。
当目标函数f(w)f(w)f(w)是二次函数且约束函数gi(w)g_i(w)gi(w)是仿射函数时，凸最优化问题成为凸二次规划问题。
综上，就有下面的线性可分支持向量机的学习算法——最大间隔法（maximum margin method）。
输入：线性可分训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2, y_2),...,(x_N,y_N)\}T={(x1,y1),(x2,y2),...,(xN,yN)}，其中，xi∈X=Rn,yi∈Y={−1,+1},i=1,2,...,N;x_i\in X=\R^n,y_i\in Y=\{-1,+1\},i=1,2,...,N;xi∈X=Rn,yi∈Y={−1,+1},i=1,2,...,N;
输出：最大间隔分离超平面和分类决策函数。
(1)构造并求解约束最优化问题：
minw,b12∥w∥2
\min_{w,b} \frac 1 2 \lVert w \rVert^2
w,bmin21∥w∥2s.t.yi(w⋅xi+b)−1⩾0,i=1,2,...,N
s.t. \quad y_i(w\cdot x_i + b)-1 \geqslant 0, \quad i=1,2,...,N
s.t.yi(w⋅xi+b)−1⩾0,i=1,2,...,N
求得最优解w∗,b∗w^*, b^*w∗,b∗.
(2)由此得到分离超平面：
w∗⋅x+b∗=0
w^* \cdot x + b^* = 0
w∗⋅x+b∗=0
分离决策函数
f(x)=sign(w∗⋅x+b∗)
f(x) = sign(w^*\cdot x+b^*)
f(x)=sign(w∗⋅x+b∗)
支持向量和间隔边界
在线性可分情况下， 训练数据集的样本点中与分列超平面距离最近的样本点的实例成为支持向量（support vector），支持向量是使约束条件式等号成立的点，即
yi(w⋅xi+b)−1=0
y_i(w\cdot x_i+b)-1=0
yi(w⋅xi+b)−1=0
对yi=+1y_i=+1yi=+1的正例点，支持向量在超平面
H1:(w⋅xi+b)=1
H_1:(w \cdot x_i +b )=1
H1:(w⋅xi+b)=1上，对yi=−1y_i=-1yi=−1的负例点，支持向量在超平面H2:w⋅x+b=−1
H_2:w\cdot x +b=-1
H2:w⋅x+b=−1上。
H1与H2H_1与H_2H1与H2之间形成一条长带，分离超平面与它们平行且位于它们中央。H1与H2H_1与H_2H1与H2之间的距离称为间隔（margin）。间隔依赖于分离超平面的法向量www，等于2∥w∥\frac 2 {\lVert w \rVert}∥w∥2。H1和H2H_1和H_2H1和H2称为间隔边界。
在决定分离超平面时只有支持向量起作用，而其他实例点并不起作用。
学习的对偶算法
应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，这样做的优点，一是对偶问题往往更容易求解；二是自然引入核函数，进而推广到非线性分类问题。
首先，构建拉格朗日函数：
L(w,b,α)=12∥w∥2−∑i=1Nαiyi(w⋅xi+b)+∑i=1Nαi
L(w,b,\alpha)=\frac 1 2 {\lVert w \rVert}^2 - \sum^N_{i=1}\alpha_i y_i(w\cdot x_i+b)+\sum_{i=1}^N \alpha_i
L(w,b,α)=21∥w∥2−i=1∑Nαiyi(w⋅xi+b)+i=1∑Nαi
其中，α=(α1,α2,...,αN)T\alpha=(\alpha_1, \alpha_2,...,\alpha_N)^Tα=(α1,α2,...,αN)T为拉格朗日乘子向量。
根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
maxαminw,bL(w,b,α)
\max_\alpha \min_{w,b}L(w,b,\alpha)
αmaxw,bminL(w,b,α)
先求极小将求得的w,bw,bw,b带入式子，得到等价的对偶最优化问题：
minα12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)−∑i=1Nαi
\min_\alpha \quad\frac 1 2 \sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j (x_i \cdot x_j)-\sum_{i=1}^N \alpha_i
αmin21i=1∑Nj=1∑Nαiαjyiyj(xi⋅xj)−i=1∑Nαis.t.∑i=1Nαiyi=0
\kern-8ems.t. \quad \sum_{i=1}^N \alpha_iy_i=0
s.t.i=1∑Nαiyi=0αi⩾0,i=1,2,...,N
\kern-1em \alpha_i \geqslant 0, i=1,2,...,N
αi⩾0,i=1,2,...,N
利用KKT条件便可求出原始最优化问题的解w∗,b∗w^*,b^*w∗,b∗，推导过程不展开写了。
线性可分支持向量机学习算法
输入：线性可分训练集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1, y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1,y1),(x2,y2),...,(xN,yN)}，其中xi∈X=Rn,yi∈Y={−1,1}x_i \in X=\R^n,y_i \in Y=\{-1,1\}xi∈X=Rn,yi∈Y={−1,1}；
输出：分离超平面和分类决策函数。
(1)构造并求解约束最优化问题
minα12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)−∑i=1Nαi
\min_\alpha \quad \frac12\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^N\alpha_i
αmin21i=1∑Nj=1∑Nαiαjyiyj(xi⋅xj)−i=1∑Nαis.t.∑i=1Nαiyi=0
\kern-8ems.t. \quad \sum_{i=1}^N \alpha_iy_i=0
s.t.i=1∑Nαiyi=0αi⩾0,i=1,2,...,N
\kern-1em \alpha_i \geqslant 0, i=1,2,...,N
αi⩾0,i=1,2,...,N
求得最优解α∗=(α1∗,α2∗,...,αN∗)T\alpha^*=(\alpha_1^*,\alpha_2^*,...,\alpha_N^*)^Tα∗=(α1∗,α2∗,...,αN∗)T。
(2)计算
w∗=∑i=1Nαiyixi
w^*=\sum_{i=1}^N\alpha_iy_ix_i
w∗=i=1∑Nαiyixi
并选择α∗\alpha^*α∗的一个正分量αj∗>0\alpha_j^*>0αj∗>0，计算
b∗=yi−∑i=1Nαi∗yi(xi⋅xj)
b^* = y_i-\sum_{i=1}^N\alpha_i^*y_i(x_i\cdot x_j)
b∗=yi−i=1∑Nαi∗yi(xi⋅xj)
(3)求得分离超平面
w∗⋅x+b∗=0
w^*\cdot x+b^*=0w∗⋅x+b∗=0
分离决策函数：f(x)=sign(w∗⋅x+b∗)
f(x)=sign(w^*\cdot x+b^*)f(x)=sign(w∗⋅x+b∗)
将训练集中对应于αj∗>0\alpha_j^*>0αj∗>0的样本点(xi,yi)(x_i,y_i)(xi,yi)的实例称为支持向量。
以上就是硬间隔最大化算法。但是现实问题中，训练数据往往线性不可分，即在样本中出现噪声或特异点，需要更一般的学习算法。
2. 线性支持向量机与软间隔最大化
线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，此时就需要修改硬间隔最大化，使其成为软间隔最大化。
线性支持向量机
现实问题中训练数据集往往存在特异点，如果将这些特异点除去后，剩下大部分的样本点组成的集合是线性可分的，我们就可以用以下方法解决问题。
我们对每个样本点(xi,yi)(x_i,y_i)(xi,yi)引进一个松弛变量ξi⩾0\xi_i\geqslant0ξi⩾0，使函数间隔加上松弛变量大于等于1。约束条件变为
yi(w⋅xi+b)⩾1−ξi
y_i(w\cdot x_i +b)\geqslant1-\xi_iyi(w⋅xi+b)⩾1−ξi目标函数变为
12∥w∥2+C∑i=1Nξi
\frac12\lVert w \rVert^2+C\sum_{i=1}^N\xi_i
21∥w∥2+Ci=1∑NξiC>0称为惩罚参数，C值大对误分类的惩罚增大，C值小对误分类的惩罚减小。该目标函数的解释为使12∥w∥2\frac12 \lVert w \rVert^221∥w∥2尽量小即距离尽量大，同时使误分类点的个数尽量小。（C大更易过拟合）
线性不可分的线性支持向量机的学习问题变成如下的凸二次规划问题（原始问题）：
min12∥w∥2+C∑i=1Nξi
\min \quad \frac12 \lVert w \rVert^2+C\sum_{i=1}^N\xi_i
min21∥w∥2+Ci=1∑Nξis.t.yi(w⋅xi+b)⩾1−ξi,i=1,2,...,N
\kern2ems.t. \quad y_i(w\cdot x_i+b)\geqslant1-\xi_i,\quad i=1,2,...,N
s.t.yi(w⋅xi+b)⩾1−ξi,i=1,2,...,Nξi⩾0,i=1,2,...,N
\kern-2em\xi_i \geqslant0, \quad i=1,2,...,N
ξi⩾0,i=1,2,...,N
学习的对偶算法
原始问题的对偶问题是
min12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)−∑i=1Nαi
\kern 2em\min \quad \frac12\sum_{i=1}^N\sum_{j=1}^N\alpha_i \alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^N\alpha_i
min21i=1∑Nj=1∑Nαiαjyiyj(xi⋅xj)−i=1∑Nαis.t.∑i=1Nαiyi=0
\kern -8ems.t. \quad \sum_{i=1}^N\alpha_i y_i = 0
s.t.i=1∑Nαiyi=00⩽αi⩽C,i=1,2,...,N
\kern1em0\leqslant\alpha_i \leqslant C, \quad i=1,2,...,N
0⩽αi⩽C,i=1,2,...,N
线性支持向量机学习算法
输入：训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1,y1),(x2,y2),...,(xN,yN)}，其中，xi∈X=Rn,yi∈Y={−1,1},i=1,2,...,Nx_i\in X=\R_n,y_i \in Y=\{-1,1\}, i=1,2,...,Nxi∈X=Rn,yi∈Y=
1fff8
{−1,1},i=1,2,...,N
输出：分离超平面和分类决策函数
(1)选择惩罚参数C>0C>0C>0，构造并求解凸二次规划问题
min12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)−∑i=1Nαi
\kern 2em\min \quad \frac12\sum_{i=1}^N\sum_{j=1}^N\alpha_i \alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^N\alpha_i
min21i=1∑Nj=1∑Nαiαjyiyj(xi⋅xj)−i=1∑Nαis.t.∑i=1Nαiyi=0
\kern -8ems.t. \quad \sum_{i=1}^N\alpha_i y_i = 0
s.t.i=1∑Nαiyi=00⩽αi⩽C,i=1,2,...,N
\kern1em0\leqslant\alpha_i \leqslant C, \quad i=1,2,...,N
0⩽αi⩽C,i=1,2,...,N求得最优解α∗=(α1∗,α2∗,...,αN∗)T\alpha^*=(\alpha^*_1,\alpha^*_2,...,\alpha^*_N)^Tα∗=(α1∗,α2∗,...,αN∗)T。
(2)计算w∗=∑i=1Nαi∗yixiw^*=\sum_{i=1}^N\alpha_i^*y_ix_iw∗=∑i=1Nαi∗yixi
选择α∗\alpha^*α∗的一个分量αj∗\alpha^*_jαj∗适合条件0<αj∗<C0<\alpha^*_j<C0<αj∗<C，计算
bj∗=yj−∑i=1Nyiαj∗(xi⋅xj)
b^*_j = y_j-\sum_{i=1}^Ny_i\alpha^*_j(x_i\cdot x_j)
bj∗=yj−i=1∑Nyiαj∗(xi⋅xj)
(3)求得分离超平面
w∗⋅x+b=0
w^*\cdot x+b=0
w∗⋅x+b=0
分类决策函数
f(x)=sign(w∗⋅x+b)
f(x) = sign(w^*\cdot x +b)
f(x)=sign(w∗⋅x+b)
支持向量
在线性不可分的情况下，将对偶问题的解α∗\alpha^*α∗中对应于αj∗>0\alpha^*_j>0αj∗>0的样本点(xj,yj)(x_j,y_j)(xj,yj)的实例xix_ixi称为支持向量（软间隔的支持向量）。支持向量到间隔边界的距离ξi∥w∥\frac {\xi_i} {\lVert w \rVert}∥w∥ξi
软间隔的支持向量xix_ixi或者在间隔边界上，或者在间隔边界与分离超平面之间，或者在分离超平面误分一侧。若αi<C\alpha_i<Cαi<C，则ξi=0\xi_i=0ξi=0，支持向量xix_ixi恰好落在间隔边界上；若α∗=C,0<ξi<1\alpha^*=C,0<\xi_i<1α∗=C,0<ξi<1，则分类正确，xix_ixi在间隔边界与分离超平面之间；若α∗=C,ξi=1\alpha^*=C,\xi_i=1α∗=C,ξi=1，则分类正确，xix_ixi在分离超平面上；若α∗=C,ξi>1\alpha^*=C,\xi_i>1α∗=C,ξi>1，则分类错误，xix_ixi在分离超平面误分一侧。
3. 非线性支持向量机与核函数
有时分类问题是非线性的，这时就要使用非线性支持向量机，其主要特点是利用核技巧(kernel trick)。
用线性方法求解非线性分类问题分为两步：
- 使用一个变换将原空间的数据映射到新空间
- 在新空间用线性分类学习方法从训练数据中学习分类模型。
核技巧
核函数的定义
设XXX是输入空间（欧氏空间Rn\R^nRn的子集或离散集合），又设H\EtaH为特征空间（希尔伯特空间），如果存在一个从XXX到H\EtaH的映射
ϕ(x):X→H
\phi(x):X \rightarrow \Eta
ϕ(x):X→H使得对所有x,z∈Xx,z\in Xx,z∈X，函数K(x,z)K(x,z)K(x,z)满足条件
K(x,z)=ϕ(x)⋅ϕ(z)
K(x,z)=\phi(x)\cdot \phi(z)
K(x,z)=ϕ(x)⋅ϕ(z)则称K(x,z)K(x,z)K(x,z)为核函数，ϕ(x)\phi(x)ϕ(x)为映射函数，ϕ(x)⋅ϕ(z)\phi(x)\cdot \phi(z)ϕ(x)⋅ϕ(z)为内积运算。
核技巧在支持向量机中的应用
我们注意到在线性支持向量机的对偶问题中，无论是目标函数还是决策函数（分离超平面）都只涉及输入实例与实例之间的内积。对偶问题的目标函数中的内积xi⋅xjx_i\cdot x_jxi⋅xj可以用K(xi,yi)=ϕ(xi)⋅ϕ(xj)K(x_i,y_i)=\phi(x_i)\cdot \phi(x_j)K(xi,yi)=ϕ(xi)⋅ϕ(xj)来代替。
当映射函数是非线性函数时，学习到的含有核函数的支持向量机就是非线性分类模型。在实际应用中，往往依赖领域知识直接选择核函数，核函数选择的有效性需要通过实验验证。
常用核函数
- 线性核
K(x,z)=x⋅zK(x,z)=x\cdot zK(x,z)=x⋅z - 多项式核函数
K(x,z)=(x⋅z+1)pK(x,z)=(x\cdot z+1)^pK(x,z)=(x⋅z+1)p
对应的支持向量机是一个p次多项式分类器。分类决策函数成为
f(x)=sign(∑i=1Nsαi∗yi(xi⋅x+1)p+b∗)f(x)=sign(\sum_{i=1}^{N_s} \alpha^*_iy_i(x_i\cdot x+1)^p+b^*)f(x)=sign(i=1∑Nsαi∗yi(xi⋅x+1)p+b∗) - 高斯核函数
K(x,z)=exp(−∥x−z∥22σ2)K(x,z)=exp(-\frac{\lVert x-z \rVert^2}{2\sigma^2})K(x,z)=exp(−2σ2∥x−z∥2)
对应的支持向量机是高斯径向基函数（RBF）分类器，分类决策函数成为
f(x)=sign(∑i=1Nsαi∗yiexp(−∥x−xi∥22σ2)+b∗)f(x)=sign(\sum_{i=1}^{N_s}\alpha^*_iy_iexp(-\frac{\lVert x-x_i \rVert^2}{2\sigma^2})+b^*)f(x)=sign(i=1∑Nsαi∗yiexp(−2σ2∥x−xi∥2)+b∗) - 指数核
K(x,z)=exp(−∥x−z∥2σ2)K(x,z)=exp(-\frac{\lVert x-z \rVert}{2\sigma^2})K(x,z)=exp(−2σ2∥x−z∥) - sigmoid核
K(x,z)=tanh(αx⋅z+c)K(x,z)=tanh(\alpha x\cdot z+c)K(x,z)=tanh(αx⋅z+c)
- 当样本的特征很多时，特征的维数很高，这是往往样本线性可分，可考虑用线性核函数的SVM或LR（如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的）。
- 当样本的数量很多，但特征较少时，可以手动添加一些特征，使样本线性可分，再考虑用线性核函数的SVM或LR。
- 当样特征维度不高时，样本数量也不多时，考虑用高斯核函数（RBF核函数的一种，指数核函数和拉普拉斯核函数也属于RBF核函数）。
非线性支持向量分类机
输入：训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1,y1),(x2,y2),...,(xN,yN)}，其中，xi∈X=Rn,yi∈Y={−1,1},i=1,2,...,Nx_i\in X=\R_n,y_i \in Y=\{-1,1\}, i=1,2,...,Nxi∈X=Rn,yi∈Y={−1,1},i=1,2,...,N
输出：分离超平面和分类决策函数
(1)选择适当的核函数K(x,z)K(x,z)K(x,z)和适当的参数CCC，构造并求解最优化问题
min12∑i=1N∑j=1NαiαjyiyjK(xi,xj)−∑i=1Nαi
\kern 2em\min \quad \frac12\sum_{i=1}^N\sum_{j=1}^N\alpha_i \alpha_jy_iy_jK(x_i,x_j)-\sum_{i=1}^N\alpha_i
min21i=1∑Nj=1∑NαiαjyiyjK(xi,xj)−i=1∑Nαis.t.∑i=1Nαiyi=0
\kern -8ems.t. \quad \sum_{i=1}^N\alpha_i y_i = 0
s.t.i=1∑Nαiyi=00⩽αi⩽C,i=1,2,...,N
\kern1em0\leqslant\alpha_i \leqslant C, \quad i=1,2,...,N
0⩽αi⩽C,i=1,2,...,N求得最优解α∗=(α1∗,α2∗,...,αN∗)T\alpha^*=(\alpha^*_1,\alpha^*_2,...,\alpha^*_N)^Tα∗=(α1∗,α2∗,...,αN∗)T。
(2)计算w∗=∑i=1Nαi∗yixiw^*=\sum_{i=1}^N\alpha_i^*y_ix_iw∗=∑i=1Nαi∗yixi
选择α∗\alpha^*α∗的一个分量αj∗\alpha^*_jαj∗适合条件0<αj∗<C0<\alpha^*_j<C0<αj∗<C，计算
bj∗=yj−∑i=1Nαj∗yiK(xi,xj)
b^*_j = y_j-\sum_{i=1}^N\alpha^*_jy_iK(x_i,x_j)
bj∗=yj−i=1∑Nαj∗yiK(xi,xj)
(3)构造决策函数：
f(x)=sign(∑i=1Nαi∗yiK(x⋅xi)+b∗)
f(x)=sign(\sum_{i=1}^N\alpha^*_iy_iK(x\cdot x_i)+b^*)
f(x)=sign(i=1∑Nαi∗yiK(x⋅xi)+b∗)
4. 序列最小化算法
待补充。。。
5. 百面机器学习中的问题
问题1 在空间上线性可分的两类点，分别向SVM分类的超平面上做投影，这些点在超平面上的投影仍然是线性可分的吗？
问题2 是否存在一组参数使SVM训练误差为0？
仅考虑不带松弛变量的情况
SVM的预测公式
f(x)=sign(∑i=1Nαi∗yiK(x⋅xi)+b∗)f(x)=sign(\sum_{i=1}^N\alpha^*_iy_iK(x\cdot x_i)+b^*)f(x)=sign(i=1∑Nαi∗yiK(x⋅xi)+b∗)假设给定训练集中不存在两个点在同一位置，核函数采用高斯核。
对于任意的i，固定αi=1\alpha_i=1αi=1以及b=0b=0b=0，则有
f(xj)=∑i=1Nyiexp(−∥xj−xi∥22σ2)f(x_j)=\sum_{i=1}^Ny_iexp(-\frac{\lVert x_j-x_i \rVert^2}{2\sigma^2})f(xj)=i=1∑Nyiexp(−2σ2∥xj−xi∥2)f(xj)−yj=∑i=1,i̸=jNyiexp(−∥xj−xi∥22σ2)
f(x_j)-y_j=\sum_{i=1,i\not=j}^Ny_iexp(-\frac{\lVert x_j-x_i \rVert^2}{2\sigma^2})
f(xj)−yj=i=1,i̸=j∑Nyiexp(−2σ2∥xj−xi∥2)∥f(xj)−yj∥⩽∑i=1,i̸=jNexp(−∥xj−xi∥22σ2)\lVert f(x_j)-y_j \rVert\leqslant \sum_{i=1,i\not=j}^Nexp(-\frac{\lVert x_j-x_i \rVert^2}{2\sigma^2})∥f(xj)−yj∥⩽i=1,i̸=j∑Nexp(−2σ2∥xj−xi∥2)
由题意知∥xj−xi∥⩾ϵ\lVert x_j - x_i \rVert \geqslant\epsilon∥xj−xi∥⩾ϵ ，取σ=ϵlogm\sigma=\frac{\epsilon}{\sqrt{logm}}σ=logmϵ，可将式重写为
∥f(xj)−yj∥⩽∑i=1,i̸=jNexp(−∥xj−xi∥22σ2)⩽∑i=1.i̸=jme−logm=m−1m<1
\lVert f(x_j)-y_j \rVert\leqslant \sum_{i=1,i\not=j}^Nexp(-\frac{\lVert x_j-x_i \rVert^2}{2\sigma^2})\leqslant\sum_{i=1.i\not=j}^me^{-logm}=\frac {m-1}m<1
∥f(xj)−yj∥⩽i=1,i̸=j∑Nexp(−2σ2∥xj−xi∥2)⩽i=1.i̸=j∑me−logm=mm−1<1所以，对于任意xjx_jxj，预测结果f(xj)f(x_j)f(xj)与样本真实标签yjy_jyj的距离小于1。因此所有样本的类别都被正确预测，训练误差为0。
问题3 训练误差为0的SVM分类器一定存在吗？
问题2找到了一组参数使得SVM分类器的训练误差为0。本问旨在找到一组参数满足训练误差为0，且是SVM模型的一个解。
我们已经得到了一组参数使得当yj=1y_j=1yj=1时，f(xj)>0f(x_j)>0f(xj)>0时，而当yj=−1时y_j=-1时yj=−1时，f(x)<0f(x)<0f(x)<0。现在需要找到一组参数满足更强的条件，即yjf(xj)⩾1y_jf(x_j)\geqslant1yjf(xj)⩾1。
仍固定b=0，将yif(xi)y_if(x_i)yif(xi)展开，有
yjf(xj)=yj∑i=1mαiyiK(xi,xj)=αjyjyjK(xj,xj)+∑i=1,i̸=jmαiyiyjK(xi,xj)y_jf(x_j)=y_j\sum_{i=1}^m\alpha_iy_iK(x_i,x_j)=\alpha_jy_jy_jK(x_j,x_j)+\sum_{i=1,i\not=j}^m\alpha_iy_iy_jK(x_i,x_j)yjf(xj)=yji=1∑mαiyiK(xi,xj)=αjyjyjK(xj,xj)+i=1,i̸=j∑mαiyiyjK(xi,xj)
=αj+∑i=1,i̸=jmαiyiyjK(xi,xj)\kern8em=\alpha_j+\sum_{i=1,i\not=j}^m\alpha_iy_iy_jK(x_i,x_j)=αj+i=1,i̸=j∑mαiyiyjK(xi,xj)
可以每个α\alphaα取很大的值，同时σ\sigmaσ取很小的值，使得核映射项非常小，于是αj\alpha_jαj在上式占主导地位，这样yjf(xj)>1y_jf(x_j)>1yjf(xj)>1，满足SVM的解条件。
问题4 加入松弛变量的SVM的训练误差可以为0吗？
使用SMO算法训练的线性分类器并不一定能得到训练误差为0的模型。这是由于我们的优化目标改变了，并不再是使训练误差最小。考虑带松弛变量的SVM模型优化的目标函数所包含的两项：C∑i=1mξiC\sum_{i=1}^m\xi_iC∑i=1mξi和12∥w∥2\frac12\lVert w\rVert^221∥w∥2，当我们的参数C选取较小的值时，后一项（正则项）将占据优化的较大比重。这样，一个带有训练误差，但是参数较小的点将成为更优的结果。一个简单的特例是，当C取0时，w也取0即可达到优化目标，但是显然此时我们的训练误差不一定能达到0。
参考链接
- 机器学习面试知识点总结(不断补充中)
- 机器学习——EM算法 知识点与面试总结
- 机器学习——贝叶斯朴素贝叶斯 知识点与面试总结
- 机器学习总结（三）：SVM支持向量机（面试必考）
- 机器学习面试常用算法知识点梳理总结
- 机器学习面试知识点总结
- 机器学习面试知识点总结(不断补充中)
- 机器学习面试知识点总结（四）——逻辑回归
- 机器学习面试知识点总结(不断补充中)
- 机器学习面试知识点总结（五）——决策树
- 机器学习面试知识点总结
- （转）程序猿面试需要的知识点总结
- 【数据结构——树】二叉树面试相关知识点总结（二）
- 机器学习（十四）SVM总结
- 机器学习 第八周 总结 知识点
- 计算机网络重要知识点总结 面试必备
- 机器学习常见算法个人总结（面试用）【转载】
- SpringMVC面试知识点总结
- 一些js面试高频知识点的总结
- php面试常用知识点总结