【机器学习】支持向量机(SVM)的优化算法——序列最小优化算法(SMO)概述
2017-08-16 15:45
375 查看
SMO算法是一一种启发式算法,它的基本思路是如果所有变量的解的条件都满足最优化问题的KKT条件,那么这个最优化问题的解就得到了。因为KKT条件是该优化问题的充分必要条件。
整个SMO算法包括两个部分:
1)求解两个便令的二次归化的解析方法
2)选择变量的启发式方法。
SMO算法的特点是不断地讲原二次规划问题分解为只有两个变量的二次规划子问题。并对子问题进行解析求解,直到所有变量满足KKT条件为止。这样通过启发式的方法得到原二次规划问题的最优解。因为子问题有解析解,所以每次求解子问题的解的速度都很快,尽管计算子问题次数很多,但总体是高效的。
关于序列最小优化算法的详细实现和讨论可以参考链接:
参考链接
整个SMO算法包括两个部分:
1)求解两个便令的二次归化的解析方法
2)选择变量的启发式方法。
SMO算法的特点是不断地讲原二次规划问题分解为只有两个变量的二次规划子问题。并对子问题进行解析求解,直到所有变量满足KKT条件为止。这样通过启发式的方法得到原二次规划问题的最优解。因为子问题有解析解,所以每次求解子问题的解的速度都很快,尽管计算子问题次数很多,但总体是高效的。
关于序列最小优化算法的详细实现和讨论可以参考链接:
参考链接
相关文章推荐
- 机器学习-python通过序列最小优化算法(SMO)方法编写支持向量机(SVM)
- 【机器学习】支持向量机(二)——序列最小最优化(SMO)算法
- 机器学习(七、八):SVM(支持向量机)【最优间隔分类、顺序最小优化算法】
- 支持向量机SVM----简化版序列最小优化SMO(Sequential Minimal Optimation)
- 支持向量机SVM----完整版序列最小优化SMO(Sequential Minimal Optimation)
- SVM-7-SMO(序列最小优化算法)
- SVM-支持向量机学习(7):求解SVM算法-SMO-序列最小最优化
- 序列最小优化算法(SMO)
- 机器学习笔记八 - SVM(Support Vector Machine,支持向量机)的剩余部分。即核技法、软间隔分类器、对SVM求解的序列最小化算法以及SVM的一些应用
- 机器学习笔记3:支持向量机的SMO高效优化算法
- SVM——(七)SMO(序列最小最优算法)
- 机器学习之支持向量机SVM Support Vector Machine (四) SMO算法
- 砥志研思SVM(四) 序列最小最优化算法(SMO)论文翻译
- 支持向量机(Support Vector Machine)-----SVM之SMO算法(转)
- 机器学习中的算法(2)-支持向量机(SVM)基础
- 机器学习中的算法-支持向量机(SVM)基础
- SVM-支持向量机算法概述
- 机器学习中的算法(2)-支持向量机(SVM)基础
- 机器学习中的算法(2)-支持向量机(SVM)基础
- [机器学习]支持向量机及其应用---手写识别系统(SMO算法)