复习：支持向量机的理论基础—学习算法的实现方法

上节叙述了算法的构造方法，本节将进行学习算法的实现方法。

上节已经说明，我们使用SRM原则通过同时最小化经验风险和置信范围而最小化理论（2）中的界，也就是通过选择某个合适的结构然后在其中运行ERM原则，有两种途径可以实现这个过程：（1）固定置信范围，最小化经验风险。这看起来跟我们的算法构造过程是一致的，不过需要好的策略能够保证选择合适的结构以固定置信范围；（2）固定经验风险，最小化置信范围 ，这看起来与算法构造过程在直觉上是有点违背的。不过两种方法在一定实际意义上都能最小化理论（2）中的界。

从上面的分析得出，要实现学习算法，第一步要做的是如何表示经验风险和置信范围。对于线性函数集，

决定了它的VC维，如果将函数集进行形式化处理，表示为以下形式:

＝1，若



1；

＝－1，若



－1。此时

＝1/

（

为

的范数），所以

就决定了线性函数集的结构，也就决定了置信范围的大小，而且是与任何分布无关的。现在来考虑经验风险的表示， 我们使用上面形式化的函数集:

＝1，若



1；

＝－1，若



－1。

对于线性可分问题，因为目标函数为线性函数，经验风险可以为0，这种情况下，我们可以采用固定经验风险（为0），然后最小化置信范围的方法，其实就是在给定条件下（数据集）最小化

的问题。

对于线性不可分问题，使用线性函数来区分两类，经验风险不可能为0，这种情况下，就得寻求经验风险的具体表示。在这种情况下的经验风险可以通过引入一个非负变量来表示，关于其中的具体表示以及这种表示的数学原理在这里由于公式的负责性不予介绍。当有了经验风险的表示后，我们就可以同时最小化它与置信范围，从而完成学习。
接下来的一步就是如何将上述两种情况下的学习过程表示为数学求解问题，这是学习算法走向实用的最关键一步，也是本文最主要的部分——支持向量机的介绍，这一部分将在下节介绍。