非线性约束极值问题 - 拉格朗日乘子法 方法与原理
2017-07-14 13:31
381 查看
动机
非数学专业,只是用得到,所以学一下。问题描述
首先来看一下非线性最优化问题,一般有这么几类。第一类: 无约束最优化问题
找到一个合适的x,是的f(x)最小:minxf(x)
没有任何约束的最优化问题,这个一般解法有 梯度下降法、牛顿法、拟牛顿法等。
第二类: 有等式约束的非线性
minxf(x)subject to hi(x)=0i∈[1,n]第三类: 有等式和不等式约束的非线性问题
minxf(x)subject to hi(x)=0gj(x)<=0i∈[1,m],j∈[1,n]上面的式子是说, 在满足m个等式 即 hi(x)=0 和 n个不等式 gj(x)<=0 的条件下求f(x)的最小值。
拉格朗日乘子法
对于第二类问题,可以转化为一下问题minF(x)=min[f(x)+∑i=1nλihi(x)]
λi 为拉格朗日乘子。
令 ∂F(x)/∂x=0 , ∂F(x)/∂λ=0 ,该最优化问题即可的解。
拉格朗日乘子法原理分析
上面公式中的x是一个向量,多维的数据难以绘图和理解,这里以二维为例。有这样的最优化问题:minz=minf(x,y)s.t.g(x,y)=c
如果将 z=f(x,y)绘制成一个三维图像,可以想象必定有波峰有波谷,如果想用二维图像绘制这个函数,只能以等高线的形式(想象一下等高线地形图),下图给出了等高线图。因为极值点必须是一个可行解,即必须满足g(x,y)=c 这个条件,所以极值点处的等高线必定和g(x,y)=c 相较于一点。 假设两条线不相切,那么必定有另外一条等高线与之相切。考虑相切的情况,f(x,y)取得极值,且满足等式条件。
在相切时,其梯度方向平行,即
▽[f(x,y)+λ(g(x,y)−c)]=0λ≠0
给出一个新的函数 F(x,y)=▽[f(x,y)+λ(g(x,y)−c)]=0
在求其极值的时候,令 ▽F(x,y)=0,即可的解。
#
第三类与KKT条件
在满足KKT条件时,可以将带有不等式的非线性最优化问题转化为无约束的最优化问题。
首先将原目标公式和等式不等式合为一个公式
F(x,λ,μ)=f(x)+∑iλihi(x)+∑jμjgj(x)
并需满足以下条件
(1) ∂F(x,λ,μ)/∂x=0 这个条件是计算最优化问题的核心。 使用梯度下降法可以迭代求解。
(2) λi≠0 这个条件保证等式约束是成立的,如果该值为零,相当于丢失了约束条件。
(3) μj>=0 ,原条件中 gj(x)<=0 ,公式加上一个小于等于0的数,符合最小化的方向。如果加一个正数,则与最小化方向相反,所以 这个条件保证了 μjgj(x) 小于等于0 。
(4) ujgj(x)=0 ,该条件表明只有在该项取最大值时,整个公式取极小值才是真正的极小值。 这个式子最大为0, 所以要求其为0。
进一步思考, 这两项相乘为0,那么至少有一项为0, 如果是 uj 为0 ,说明这个条件并未生效,就是说整个函数的极小值并不在这个条件的边界上。 如果gj(x)=0 极小值说明在这个条件的边界上。
(5)原本的约束条件 gj(x)<=0 , hi(x)=0
证明
证明见 参考文献[1]参考文献
[1] http://www.cnblogs.com/zhangchaoyang/articles/2726873.html[2] http://blog.csdn.net/xianlingmao/article/details/7919597
[3] https://zh.wikipedia.org/wiki/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0
相关文章推荐
- 约束极值问题/非线性规划问题
- Tomcat中文乱码问题的原理和解决方法
- Tomcat中文乱码问题的原理和解决方法
- 最后一次异常的原理和走出异常的方法及IAT的修复问题。
- 有趣的同名不同约束泛型扩展方法的编译问题
- Tomcat中文乱码问题的原理和解决方法
- 一个非线性约束问题的lingo求解
- ArcGIS 10中WFS缓存问题的解决方法与原理
- IE兼容问题解决根源:深刻理解hasLayout属性,原理与使用方法
- Tomcat中文乱码问题的原理和解决方法
- 三分法(Ternary Search)求解凸(凹)函数的极值问题<方法篇>
- 三分法(Ternary Search)求解凸(凹)函数的极值问题<方法篇>
- [转载] 人工智能:一种现代方法——第5章 约束满足问题
- Tomcat中文乱码问题的原理和解决方法
- Tomcat中文乱码问题的原理和解决方法
- Tomcat中文乱码问题的原理和解决方法
- IE兼容问题解决根源:深刻理解hasLayout属性,原理与使用方法
- Tomcat中文乱码问题的原理和解决方法
- IE兼容问题解决根源:深刻理解hasLayout属性,原理与使用方法
- Tomcat中文乱码问题的原理和解决方法