学习SVM(三)理解SVM中的对偶问题
2017-07-12 13:56
351 查看
学习SVM(一) SVM模型训练与分类的OpenCV实现
学习SVM(二) 如何理解支持向量机的最大分类间隔
学习SVM(三)理解SVM中的对偶问题
学习SVM(四) 理解SVM中的支持向量(Support Vector)
学习SVM(五)理解线性SVM的松弛因子
网上有很多关于SVM的优秀博客与其他学习资料,而个人感觉本系列博客与其他关于SVM的文章相比,多了一些细节的证明,比如线性分类器原理,支持向量原理等等。
同样是SVM,在《支持向量机导论》中有170+页的内容,而在《机器学习》(周志华)一书中仅仅是一个章节的内容,中间略过了细节推导的过程,这些被略过的推导过程在本系列博客中都会加入,也是在自学时验证过程中的一些总结,如有问题请指正。
在上一篇的内容中(学习SVM(二) 如何理解支持向量机的最大分类间隔),我们最后我们推导出优化目标为:
其中约束条件为n个,这是一个关于w和b的最小值问题。
根据拉格朗日乘子法:就是求函数f(x1,x2,…)在g(x1,x2,…)=0的约束条件下的极值的方法。其主要思想是将约束条件函数与原函数联系到一起,使能配成与变量数量相等的等式方程,从而求出得到原函数极值的各个变量的解。即可以求得:
其中a就是拉格朗日乘子法进入的一个新的参数,也就是拉格朗日乘子。
那么问题就变成了:
所谓的对偶问题就是:
做这种转换是为了后面的求解方便,因为最小值问题,求导就可以啦!!
下面对w和b分别求偏导(这里是纯数学计算,直接给结果了):
在这里求出了两个结果,带入到L(w,b,a)中:
所以问题被转化成为:
注意这里的约束条件有n+1个。
添加符号,再一次转化条件:
学习SVM(二) 如何理解支持向量机的最大分类间隔
学习SVM(三)理解SVM中的对偶问题
学习SVM(四) 理解SVM中的支持向量(Support Vector)
学习SVM(五)理解线性SVM的松弛因子
网上有很多关于SVM的优秀博客与其他学习资料,而个人感觉本系列博客与其他关于SVM的文章相比,多了一些细节的证明,比如线性分类器原理,支持向量原理等等。
同样是SVM,在《支持向量机导论》中有170+页的内容,而在《机器学习》(周志华)一书中仅仅是一个章节的内容,中间略过了细节推导的过程,这些被略过的推导过程在本系列博客中都会加入,也是在自学时验证过程中的一些总结,如有问题请指正。
在上一篇的内容中(学习SVM(二) 如何理解支持向量机的最大分类间隔),我们最后我们推导出优化目标为:
其中约束条件为n个,这是一个关于w和b的最小值问题。
根据拉格朗日乘子法:就是求函数f(x1,x2,…)在g(x1,x2,…)=0的约束条件下的极值的方法。其主要思想是将约束条件函数与原函数联系到一起,使能配成与变量数量相等的等式方程,从而求出得到原函数极值的各个变量的解。即可以求得:
其中a就是拉格朗日乘子法进入的一个新的参数,也就是拉格朗日乘子。
那么问题就变成了:
所谓的对偶问题就是:
做这种转换是为了后面的求解方便,因为最小值问题,求导就可以啦!!
下面对w和b分别求偏导(这里是纯数学计算,直接给结果了):
在这里求出了两个结果,带入到L(w,b,a)中:
所以问题被转化成为:
注意这里的约束条件有n+1个。
添加符号,再一次转化条件:
相关文章推荐
- 深入理解SVM之对偶问题
- 深入理解SVM之对偶问题
- SVM中原始问题与对偶问题的理解
- 支持向量机(SVM)中对偶问题的理解
- 支持向量机SVM中的对偶问题
- SVM中的对偶问题、KKT条件以及对拉格朗日乘子求值得SMO算法
- 操作系统学习常见疑惑问与答[编码实践部分]—问题1:org指令深入理解
- 对于《由对称性解2-sat问题》和“拓扑排序”的学习理解
- 【转】对_stdcall 的理解 (COM学习中的问题)
- EF+MVC学习中的不理解的问题
- [置顶] 最优间隔分类器、原始/对偶问题、SVM的对偶问题——斯坦福ML公开课笔记7
- SVM对偶问题
- {传智播客} (学习笔记)--Hibernate的Session缓存问题与理解
- SVM(二)拉格朗日对偶问题
- java六个必须理解的问题+java学习的规划
- java基础学习中理解的问题-输入输出流,a++,++a
- 帮助大家学习对接口和反射理解,另外帮我解惑下其中的一个问题
- SVM中的Karush-Kuhn-Tucker条件和对偶问题
- SVM学习——求解二次规划问题
- 学习设计模式----有关C#问题的理解