等式约束和不等式约束下的KKT条件求法

一、写在前面

本篇内容主要写非线性规划等式约束和不等式约束下的KKT条件，主要通过举例说明。

二、等式约束下的KKT条件

1、 题目描述

考虑等式约束的最小二乘问题

minimizexTxsubject toAx=b

其中，A∈Rm∗n,rank(A)=m。给出KKT条件，推导原问题最优解x∗ 以及对偶问题最优解v∗ 的表达式。

2、Lagrarian函数

L(x,v)=xTx+vT(Ax−b)=xTx+vTAx−vTb

3、KKT条件

其对应的KKT条件如下：

⎧⎩⎨⎪⎪⎪⎪∂L(x∗,v∗)∂(x∗)=0//导数为0(v∗)T≠0//Lagrange乘子不为0Ax∗=b//等式约束条件

二、不等式约束下的KKT条件

1、 题目描述

考虑不等式约束下的线性规划问题

maximizef(x)=(x−3)2subject to1≤x≤5

2、Lagrarian函数

原条件等价于：

⎧⎩⎨⎪⎪min f(x)=−(x−3)2g1(x)=1−x≤0g2(x)=x−5≤0

其对应的Lagrarian函数为：

L(x,λ1,λ2)=f(x)+λ1g1(x)+λ2g2(x)=−(x−3)2+λ1(1−x)+λ2(x−5)

3、KKT条件

其对应的KKT条件如下：

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∂L(x∗,v∗)∂(x∗)=−2(x∗−3)−λ∗1+λ∗2=0//导数为0λ∗1g1(x∗)=λ∗1(1−x∗)=0//不等式约束条件λ∗2g2(x∗)=λ∗2(x∗−5)=0//不等式约束条件g1(x∗)≤0//不等式约束条件g2(x∗)≤0//不等式约束条件λ∗1≥0//Lagrange乘子大于0λ∗2≥0//Lagrange乘子大于0

二、等式约束和不等式约束结合的KKT条件

1、 题目描述

考虑不等式约束下的线性规划问题

minimizef(x)g(x)=0h(x)≤0

2、Lagrarian函数

其对应的Lagrarian函数为：

L(x,λ,μ)=f(x)+λg(x)+μh(x)

3、KKT条件

其对应的KKT条件如下：

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∂L(x∗,v∗)∂(x∗)=0//导数为0λ∗≠0//等式Lagrange乘子不为0g(x∗)=0//等式约束条件μ∗h(x∗)=0//不等式约束条件h(x∗)≤0//不等式约束条件μ∗≥0//不等式Lagrange乘子大于0