数值优化（Numerical Optimization）学习系列（二）-无约束优化的基础

问题形式min f(x),x∈Rn

一，关于解x∗

1，概念

（严格）全局解，∀x, f(x)≥f(x∗)

（严格）局部解，∀x∈N(x∗), f(x)≥f(x∗)

2，解的条件

如果x∗是解，那么它应该满足什么条件呢？

先来看两个公式，泰勒公式和中值定理。

多元函数Taylor公式：f(x+p)=f(x)+▽f(x)Tp+12pT▽2f(x)Tp+o(∥p∥2)

也有不带小o记号的另一种表示：f(x+p)=f(x)+▽f(x)Tp+12pT▽2f(x+tp)p

中值定理：f(x+p)−f(x)=∫10▽f(x+tp)Tp dtf(x+p)−f(x)=∫10▽2f(x+tp)Tp dt

(1)解的一阶必要条件：如果x∗是最优解，那么▽f(x∗)=0。

(2)解的二阶必要条件：如果x∗是最优解，那么▽f(x∗)=0, ▽2f(x∗)半正定。

证明如下：

▽2f(x∗)是一个矩阵，所谓矩阵半正定，时候说随便用两个向量uT▽2f(x∗)u≥0均满足。由Taylor公式可知：f(x∗+p)−f(x∗)=12pT▽2f(x∗+tp)p≥0

可知▽2f(x∗+tp)是半正定的，由于tp比较小，所以▽2f(x∗)也是半正定阵。

(3)解的二阶充分条件：▽f(x∗)=0, ▽2f(x∗)正定 ⇒ x∗是最优解。

(4)对凸函数而言，局部最优解就是全局最优解。

二，算法

1，与算法有关的几个概念

(1)迭代算法：由对解的初始猜测x0得到对解的下一个猜测x1，x1→x0→...→xK→x∗，有几点需要注意：

(i)算法的重点是如何由当前迭代点得到下一个迭代点。

(ii)算法最终要收敛到最优解x∗，但这个最优解我们并不知道，算法迭代到什么程度才算收敛呢？有两个常用的终止条件：∥▽f(x∗)∥<ϵ或 ∣∣∣f(xK+1−f(xK))f(xK)∣∣∣<ϵ

第一个公式表示当前点梯度的模要小于某个预设值，第二个公式表示前后两次迭代的相对误差要小于某个预设值。

(iii)收敛速度

这个在后面会提到。

(2)一阶算法、二阶算法、直接算法

一阶算法：要知道f(xK),(f(xi),1≤i≤K)▽f(xK),(▽f(xK,1≤i≤K))

二阶算法：要知道f(xK),(f(xi),1≤i≤K)▽f(xK),(▽f(xK,1≤i≤K))▽2f(xK),(▽2f(xi),1≤i≤K)

直接算法只需要知道f(xK),(f(xi),1≤i≤K)

因此直接算法也叫无须导数算法。

(3)算法的收敛性

全局收敛算法，∀x0,xK→x∗

局部收敛算法，∀x0∈N(x∗),xK→x∗,初始点不能离最优点太远。

(4)收敛速度

(i)线性收敛∥xk+1−x∗∥≤r∥xk−x∗∥, 0<r<1

可以理解为，新的点到解的距离要比旧的点到解的距离小。

(ii)超线性收敛∥xk+1−x∗∥=o(∥xk−x∗∥)

(iii)二次收敛∥xk+1−x∗∥≤L∥xk−x∗∥2, L为常数

开始几轮的迭代不一定能满足∥xk−x∗∥≤1,后面的迭代过程将能满足。比如，牛顿算法。

上述三个算法的收敛速度依次递增。

(5)算法概述

主要分为线（性）搜索方法和信赖域方法。

线搜索方法

从xk出发，选一个方向pk(向量)，选一个步长αk（标量），则下一个迭代点的方向为xk+1=xk+αkpk

方向如何选择呢？一般有四种选择方法：

(i)最速下降方向，pk=−▽f(xk)，这是最容易想到的方向，▽f(xk)是梯度方向（上升最快的方向），反方向也就是下降最快的方向。

(ii)牛顿方向，pk=−▽2f(xk)−1▽f(xk)，牛顿方向是当前迭代点到解x∗的方向 x∗−xk

该算法不仅要计算二阶导数（矩阵）,还要对矩阵求逆，n比较大的时候对内存和计算速度要求很大。

简单证明如下：f(x)=12xTQx−bTx则▽f(x)=Qx−b ▽2f(x)=Q

令▽f(x)=0,x∗=Q−1b，则pk=−xk+x∗=−xk+Q−1b=−Q−1(Qxk−b)=−▽2f(xk)−1▽f(xk)

(iii)拟牛顿方向，pk=−Bk▽f(xk)，拟牛顿方向既能保留牛顿方法，又不出现二阶导数。

(iv)共轭梯度法，这个以后的文章会专门提出。

信赖域方法

在当前迭代点xk附近找一个小区（球，以xk为球心，以△k>0为半径），在这个区域内，用一个二次函数来逼近f(x)。那么此时，在这个小范围内，用解这个二次函数最小值问题来代替求f(x)的最小值。

总结

主要讲了两个问题：

1，有关解x∗的有关概念

2，有关算法的总体概述