对梯度下降法的简单理解


对梯度下降法的简单理解

2012-05-29 | pengshilin |
转藏(50)

　　梯度下降法又叫最速下降法，英文名为steepest descend method.估计搞研究的人应该经常听见这个算法吧，用来求解表达式最大或者最小值的，属于无约束优化问题。

首先我们应该清楚，一个多元函数的梯度方向是该函数值增大最陡的方向。具体化到1元函数中时，梯度方向首先是沿着曲线的切线的，然后取切线向上增长的方向为梯度方向，2元或者多元函数中，梯度向量为函数值f对每个变量的导数，该向量的方向就是梯度的方向，当然向量的大小也就是梯度的大小。

现在假设我们要求函数的最值，采用梯度下降法，如图所示：



梯度下降法的基本思想还是挺简单的，现假设我们要求函数f的最小值，首先得选取一个初始点后，然后下一个点的产生时是沿着梯度直线方向，这里是沿着梯度的反方向(因为求的是最小值，如果是求最大值的话则沿梯度的方向即可)。梯度下降法的迭代公式为：



其中



　　表示的是梯度的负方向，



　　表示的是在梯度方向上的搜索步长。梯度方向我们可以通过对函数求导得到，步长的确定比较麻烦，太大了的话可能会发散，太小收敛速度又太慢。一般确定步长的方法是由线性搜索算法来确定，即把下一个点的坐标ak+1看做是



　　的函数，然后求满足f(ak+1)的最小值的



　　即可。

因为一般情况下，梯度向量为0的话说明是到了一个极值点，此时梯度的幅值也为0.而采用梯度下降算法进行最优化求解时，算法迭代的终止条件是梯度向量的幅值接近0即可，可以设置个非常小的常数阈值。

下面是网上下的一个求2元函数最小值的matlab函数实现代码，在上面添加了少许注释。代码中关于步长的计算公式还是没有弄很清楚，用到了hessian矩阵，有点像牛顿法，先不管了，以后有时候慢慢研究。