最优化理论与算法部分整理-常见的参数搜索算法

参数搜索算法的重要性不言而喻，涉及到优化准则的地方总会要用到，下面这些主要是最优化理论中的凸集优化理论。这些算法常用于无法用数学方法得到解集时而用的方法，例如非线性规划等问题。计算方法最常见的是迭代梯度递减算法和随机搜索算法。

一、有约束问题：

一维搜索：



1、试探法

a、黄金分割法（0.618法）

计算步骤：





b、Fibonacci法

计算步骤：





n根据表中的Fn来确定

n 0       1      2       34     5  
  6。。。

Fn     1       1      2       358
    13。。。

c、进退法





2、函数逼近法（插值法）

a、牛顿法



计算步骤：





b、割线法



c、抛物线法

d、三次插值法

e、有理插值法

二、无约束问题

1、最速下降法



2、牛顿法

a、牛顿法



b、阻尼牛顿法



c、其他修正牛顿法

2、共轭梯度法





3、拟牛顿法





a、秩1校正

b、DFP算法





c、BFGS公式及Broyden族

4、信赖域方法

5、最小二乘法