SVM初探

SVM是Support Vector Machine的简称

首先介绍，线性分类



上图中直线$f(x)=w^tx + b$代表一个线性判别函数

假设$f(x)>0$代表小矩形类别，$f(x)<0$代表小圆圈类别

在线性可分的情况下，SVM的目的是为了找出一个最优分类平面，哪个是呢，通俗来说就是图中距离直线最近的矩形和圆圈(可能不唯一)连线垂直平分线

而图中距离直线最近的矩形和圆圈(可能不唯一)， 这样的矩形或圆圈（样本）被称为支持向量

有了支持向量我们就可以画出最优分类平面，我们称为最优分类间隔起器

而找最优分类间隔器的问题是一个凸优化问题，凸优化问题一般求解方法有梯度下降法、最小二乘法等...

线性可分问题解决了，线性不可分的情况怎么办？

首先线性不可分问题，可以用超非平面来划分，然后我们发现如果把现有的维度映射到高维就可以在高维空间达到线性可分

但是这样又引来一个问题，维数灾难

因此这里引入核函数，核函数的作用通过内积计算把需要升维的问题在不升维的情况下解决了

因此核函数是SVM的精髓

常用核函数有

1. 线性核函数，仅仅是为了统一线性可分和非线性可分的情况

2. 多项式核函数

3. 高斯核函数，或者叫径向基核函数，该函数的参数$\sigma$太大效果相当于维度不够高，$\sigma$太小又会导致维数过高，几乎任何情况下都能线性可分，造成过拟合问题，现实中常常需要对$\sigma$调优

4. sigmod函数