An efficient augmented Lagrangian method with applications to total variation minimization论文阅读笔记

An efficient augmented Lagrangian method with applications to total variation minimization论文阅读笔记论文信息

Abstract

目标：基于经典的增广拉格朗日乘子法(the classic augmented Lagrangian multiplier method) 提出一种可解决一类等式约束非光滑优化问题(a class of equality-constrained nonsmooth optimization problems )的算法TVAL3。
算法特色：有效结合交替方向技术(an alternating direction technique)和非单调线性搜索(a nonmonotone line search)在每次迭代中最小化增广拉格朗日函数。
1 Introduction
1.1 A class of non-smooth minimization problems

预习知识点：
(1)光滑函数(smooth function)



(2)增广朗格朗日乘子法(the classic augmented Lagrangian multiplier method)
参考博客
(3)非单调线性搜索(a nonmonotone line search)概念(详见该论文References[40])

(4)函数的上、下半连续定义(higher and lower semicontinuous functions)


---------------------------------------------------我是可爱的分界线-----------------------------------------------------------
本文欲解决一类等式约束最小化问题(a class of equality-constrained minimization problems)：


其中，




函数h对x和y都可微，函数f对y可能不可微
为解决这类问题，我们使用经典的增广拉格朗日乘子法(the classic augmented Lagrangian multiplier method)，在第k次迭代中，

通过最小化拉格朗日函数得到：


乘子估计


乘子估计更新


惩罚参数(正数)

可以在迭代中变化取值
很明显，ALM算法的迭代复杂度几乎完全取决于如何联合x和y对增广拉格朗日函数最小化。为了有效解决该类子问题，我们应该利用存在于增广拉格朗日函数中的有效结构。因此，我们聚焦于解决下式无约束最小化问题：


其中，

对x可微，但对y有可能不可微。

本文我们假设目标函数

有以下定性结构，称为非均匀复杂度结构(structure of uneven complexity)：对于y，最小化

的复杂度远远低于对于x的复杂度。
不失通用性，我们假设：

存在，且对于感兴趣域内的x是唯一的。因此，问题3可以简化为只考虑x的无约束最小化问题：


其中，通常

不可微，但是偏微分

(

对于x的导数)存在。

为解决问题(5)，我们在[40]提出的非单调线性搜索算法上进行改进，使得算法不需要使得目标函数

可微，仅需要偏微分

(

对于x的导数)存在。
问题(1)应用广泛，在物理、力学、经济和数学领域的众多问题都可简化为变分问题：



该无约束问题等价为：

很明显，问题(6)是问题(1)的一种特殊情况。

1.2 An example: total variation minimization for compressive sensing

预习知识：
(1)组合优化问题
组合（最）优化问题是最优化问题的一类。最优化问题似乎自然地分成两类：一类是连续变量的问题，另一类是离散变量的问题。具有离散变量的问题，我们称它为组合的。在连续变量的问题里，一般地是求一组实数，或者一个函数；在组合问题里，是从一个无限集或者可数无限集里寻找一个对象——典型地是一个整数，一个集合，一个排列，或者一个图。一般地，这两类问题有相当不同的特色，并且求解它们的方法也是很不同的。对于具有离散变量的问题，从有限个解中寻找最优解的问题就是组合最优化问题。
(2)全变分(Total Variation)

浅谈图像的全变分和去噪
全变分模型原理与C++实现



---------------------------------------------------我是可爱的分界线-----------------------------------------------------------

压缩感知： compressive sensing，compressed sensing ，compressive sampling
CS重建中的无噪声离散TV模型：




含噪的模型：




结合(7)(8)，可以得到：


问题(10)可以看成(1)的一种特殊形式。1.4 Contributions
构造了一种针对非均匀结构问题的有效迭代法，其结合两种已有的算法：(a)交替方向(altering direction)：在较容易的方向上充分利用低耗最小化；(b)非单调线性搜索(nonmonotone line search)：在较难方向上允许相对快和大的步骤。2 Algorithm construction

2.1 Nonmonotone line search for smooth functions
Grippo, Lampariello and Lucidi [19] 于1986年提出一种非单调线性搜索结构。他仅仅要求第k个目标函数值小于在前k个函数值最大值。
接下来，Zhang and Hager [40]修改了非单调线性搜索结构：将“最大值”改为“前k个函数值的加权平均”，并证明该结构需要更少的函数和梯度计算。
注意：这两种算法要求目标函数可微。
介绍 the nonmonotone line search algorithm (NLSA) given in [40]：
每次迭代中，步长

满足nonmonotone Armijo condition:





2.2 Algorithm NADA

现在，我们来描述一种解决非光滑无约束最小化问题(5)[等价于问题(3)]的非单调线性搜索算法。该算法称为NADA (Nonmonotone Alternating Direction Algorithm)。





因为目标函数

是不可微的，所以论文[40]中的非单调线性搜索算法不直接适用。最主要的修改为：

改为

。为了适应该情况，需修改nonmonotone Armijo condition:

 


[align=left]算法步骤：
[/align]

注：
1.


 




2.


2.3 Solver TVAL3
将无约束最小化算法NADA结合到ALM框架中，得到解决等式约束最小化问题(1)的算法：
                                        


 


[align=left]4 Numerical results in image reconstruction
略
[/align]
[align=left]
[/align]