增广拉格朗日乘子法（Augmented Lagrange Method）

增广拉格朗日乘子法的作用是用来解决等式约束下的优化问题，

假定需要求解的问题如下：

　　　　minimize　　 f(X)

　　　　s.t.:　　　　　h(X)=0

其中，f:Rn->R; h:Rn->Rm

朴素拉格朗日乘子法的解决方案是：

　　　　L(X,λ)=f(X)+μh(X);　　μ:Rm

　　　　此时，求解L对X和μ的偏导同时为零就可以得到最优解了。

增广拉格朗日乘子法的解决方案是：

　　　　Lc(x,λ)=f(X)+μh(X)+1/2c|h(X)|2

　　　　每次求出一个xi，然后按照梯度更新参数μ，c每次迭代逐渐增大（使用ALM方法好像还有一些假设条件）

　　　　整个流程只需要几步就可以完成了，一直迭代就可得到最优解了。

　　　　


参考文献：

　　[1]Multiplier and Gradient Methods,1969

　　[2]constrained optimization and lagrange multiplier methods(page 104),1982