凸优化--强弱对偶性的几何解释

凸优化–强弱对偶性的几何解释

一般的优化问题模型

minf0(x)s.t.fi≤0,i=1,⋯,mhi=0,i=1,⋯,p

定义约束函数和目标函数所取值的集合G

G={(f1(x),⋯,fm(x),h1(x),⋯,hp(x),f0(x))∈Rm×Rp×R∣x∈D}

利用G的表达原始优化问题

p⋆=inf{t∣(u,v,t)∈G,u≤0,v=0}.

原问题的对偶函数

g(λ,ν)=inf{(λ,ν,1)T(u,v,t)∣(u,v,t)∈G}.

其中，(λ,ν,1)T(u,v,t)=∑mi=1λiui+∑pi=1νivi+t

如果下确界有限，则不等式

(λ,ν,1)T(u,v,t)≥g(λ,ν)

假设λ≥0。如果u≤0,v=0, 则

t≥(λ,ν,1)T(u,v,t)=∑mi=1λiui+∑pi=1νivi+t

因此，p⋆=inf{t∣(u,v,t)∈G,u≤0,v=0}≥inf{(λ,ν,1)T(u,v,t)∣(u,v,t)∈G,u≤0,v=0}≥inf{(λ,ν,1)T(u,v,t)∣(u,v,t)∈G}=g(λ,ν)

即弱对偶性成立。

举例：针对只有一个不等式约束的优化问题，

g(λ)=inf{λu+t∣(u,t)∈G}

图片再补