为什么通常牛顿法比梯度下降法能更快的收敛
2014-11-04 09:47
218 查看
问题:为什么通常牛顿法比梯度下降法能更快的收敛?
解答:牛顿法是二阶收敛,梯度下降是一阶收敛,所以牛顿法就更快。如果更通俗地说的话,比如你想找一条最短的路径走到一个盆地的最底部,梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步,牛顿法在选择方向时,不仅会考虑坡度是否够大,还会考虑你走了一步之后,坡度是否会变得更大。所以,可以说牛顿法比梯度下降法看得更远一点,能更快地走到最底部。
根据wiki上的解释,从几何上说,牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面,而梯度下降法是用一个平面去拟合当前的局部曲面,通常情况下,二次曲面的拟合会比平面更好,所以牛顿法选择的下降路径会更符合真实的最优下降路径。
wiki上给的图很形象,我就直接转过来了:
红色的牛顿法的迭代路径,绿色的是梯度下降法的迭代路径。
相关文章推荐
- 为什么通常牛顿法比梯度下降法能更快的收敛
- 为什么通常牛顿法比梯度下降法能更快的收敛
- 为什么牛顿法比梯度下降法法更快收敛
- 为什么梯度反方向是函数值下降最快的方向?
- 非线性优化之牛顿(梯度)下降法、高斯牛顿法、LM下降法
- 为什么是梯度下降?SGD
- 超分辨率重建——梯度下降、坐标下降、牛顿迭代
- 梯度下降和随机梯度下降为什么能下降?
- 【直观理解】为什么梯度的负方向是局部下降最快的方向?
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 最优化问题中,牛顿法为什么比梯度下降法求解需要的迭代次数更少?
- 梯度下降和随机梯度下降为什么能下降?
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 二乘法/拟牛顿/梯度下降
- 参数寻优:梯度下降/牛顿下降法 追根溯源
- 梯度下降和牛顿迭代——qjzcy的博客
- 为什么梯度下降是有效的?
- 深度学习—加快梯度下降收敛速度(二):Monmentum、RMSprop、Adam
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 梯度下降和随机梯度下降为什么能下降?