拉格朗日对偶性

　　主要解决带约束的最优化问题，把原始问题转换为对偶问题，在支持向量机中有使用

　　f(x),ci(x),hj(x)是Rn(n维实数集)上的连续可微函数

　　1.原始问题：

　　　　目标函数：min f(x) (x∈Rn)

　　　　约束条件：ci(x)≤0 (i=1,2...k)

　　　　　　　　　hj(x)=0 (j=1,2...l) ps:这种写法和拉格朗日乘法很相似

　　　　引进拉格朗日函数：



　　　　x为n维向量,αi(αi≥0)和βj为拉格朗日乘子,定义关于x的函数如下：



　　　　假设存在x违反约束条件，即存在某个i使得ci(w)>0或者某个j使得hj(w)≠0，令对应i的αi→+∞，令对应j的βjhj(x)→+∞,其余的α和β项全为0，则ΘP(x)→+∞

　　　　　　　　　


　　　　则目标函数



　　　　　　　　　 ps：广义拉格朗日的极小极大问题

　　　　定义如下p*为原始问题的值



　　2.对偶问题：

　　　　定义如下公式



　　　　对其进行极大化



　　　　　　　　　 ps：广义拉格朗日的极大极小问题

　　　　则定义原始问题的对偶问题，d*为对偶问题的值



　　3.原始问题与对偶问题的关系：

　　　　1.若原始问题和对偶问题均有最优值，则d*≤p*



　　　　2.设x*,α*,β*分别为原始问题和对偶问题的可行解且d*=p*，则x*,α*,β*分别为原始问题和对偶问题的最优解

　　　　3.假设f(x)和ci(x)是凸函数，hj(x)是仿射函数，并且不等式约束ci(x)严格执行

　　　　　则x*,α*,β*分别为原始问题和对偶问题的解的充要条件是x*,α*,β*满足KKT条件



　　　　　ps:整理这些东西真没把我累个半死，公式太多了，可是我有强迫症，全都重新写了一遍，参考《统计学习方法》