支持向量机 数学推导 Part1

支持向量机的目的是什么？

支持向量机的目标是找到使训练数据的边缘最大化的最优分离超平面。

支持向量机需要训练数据，是一种监督学习算法。

支持向量机也是一种分类方法。

举个简单的例子：

我们根据身高和体重在图1中画出点，可以通过这些点区分男女。给出一个点，能不能判断男女。

比如size=180，weight = 75，那么这个点代表的人是男还是女？

什么是分离超平面？

回答上面的问题，我们可通过划一条线分开代表男的点和代表女的点，如下图



那么为什么叫超平面？明明就是一条直线。

这是因为这里的数据只有两维的，三维的时候是平面，更高维我们就称之为超平面，支持向量机能够处理任意数量的维度。

最优分离超平面

还是上面的例子，你可以找到分离超平面（如下图），但是它不一定是最优的。



假如我们选择绿线作为分离超平面，这是会出现错误。有三个女性被归类为男性。



如果我们选择黑线，结果会更好。这就就我们为什么要找最优的分离超平面。

什么是余量和如何使用余量找到最优分离超平面？

如上图，当给定一个超平面，数据点到平面的距离就能够求得。超平面到距离最近的数据点的距离就是余量。

余量是无人区，在余量里面不包含任何的数据点。如图margin A. 那么下图的margin B不也可以吗？可以是可以的，但是你会发现它余量小。 超平面到数据点的距离也大，余量越大。因此，我们找的最优分离超平面就是一个距离数据点余量最大的那个。



详见原文地址：https://www.svm-tutorial.com/2014/11/svm-understanding-math-part-1/

有兴趣的可阅读下一篇：支持向量机 数学推导part2