为什么通常牛顿法比梯度下降法能更快的收敛
2013-09-28 00:10
267 查看
问题:为什么通常牛顿法比梯度下降法能更快的收敛?
解答:牛顿法是二阶收敛,梯度下降是一阶收敛,所以牛顿法就更快。如果更通俗地说的话,比如你想找一条最短的路径走到一个盆地的最底部,梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步,牛顿法在选择方向时,不仅会考虑坡度是否够大,还会考虑你走了一步之后,坡度是否会变得更大。所以,可以说牛顿法比梯度下降法看得更远一点,能更快地走到最底部。
根据wiki上的解释,从几何上说,牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面,而梯度下降法是用一个平面去拟合当前的局部曲面,通常情况下,二次曲面的拟合会比平面更好,所以牛顿法选择的下降路径会更符合真实的最优下降路径。
wiki上给的图很形象,我就直接转过来了:
![](https://img-blog.csdn.net/20130922105544015?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvamlyb25nemlfY3MyMDEx/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
红色的牛顿法的迭代路径,绿色的是梯度下降法的迭代路径。
解答:牛顿法是二阶收敛,梯度下降是一阶收敛,所以牛顿法就更快。如果更通俗地说的话,比如你想找一条最短的路径走到一个盆地的最底部,梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步,牛顿法在选择方向时,不仅会考虑坡度是否够大,还会考虑你走了一步之后,坡度是否会变得更大。所以,可以说牛顿法比梯度下降法看得更远一点,能更快地走到最底部。
根据wiki上的解释,从几何上说,牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面,而梯度下降法是用一个平面去拟合当前的局部曲面,通常情况下,二次曲面的拟合会比平面更好,所以牛顿法选择的下降路径会更符合真实的最优下降路径。
wiki上给的图很形象,我就直接转过来了:
红色的牛顿法的迭代路径,绿色的是梯度下降法的迭代路径。
相关文章推荐
- 为什么通常牛顿法比梯度下降法能更快的收敛
- 为什么通常牛顿法比梯度下降法能更快的收敛
- 为什么牛顿法比梯度下降法法更快收敛
- 梯度下降法Vs牛顿下降法
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 为什么梯度下降法对于非线性可分数据有效
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 机器学习(三)梯度下降与拟牛顿
- 深度学习—加快梯度下降收敛速度(一):mini-batch、Stochastic gradient descent
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 为什么牛顿法下降的速度比梯度下降的快
- 为什么梯度反方向是函数值局部下降最快的方向?
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 为什么有导师的基于梯度下降的机器学习喜欢用欧氏距离来度量误差
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- machine learing week 10, 随机梯度下降 批量梯度下降 确定训练模型的数据规模 判断梯度下降是否收敛
- 为什么梯度反方向是函数值下降最快的方向?
- 非线性优化之牛顿(梯度)下降法、高斯牛顿法、LM下降法
- 梯度下降法与经典牛顿下降法