为什么通常牛顿法比梯度下降法能更快的收敛
2013-09-23 10:56
148 查看
为什么通常牛顿法比梯度下降法能更快的收敛
分类: 机器学习与数据挖掘2013-09-2210:56 126人阅读 评论(1) 收藏 举报
优化
问题:为什么通常牛顿法比梯度下降法能更快的收敛?
解答:牛顿法是二阶收敛,梯度下降是一阶收敛,所以牛顿法就更快。如果更通俗地说的话,比如你想找一条最短的路径走到一个盆地的最底部,梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步,牛顿法在选择方向时,不仅会考虑坡度是否够大,还会考虑你走了一步之后,坡度是否会变得更大。所以,可以说牛顿法比梯度下降法看得更远一点,能更快地走到最底部。
根据wiki上的解释,从几何上说,牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面,而梯度下降法是用一个平面去拟合当前的局部曲面,通常情况下,二次曲面的拟合会比平面更好,所以牛顿法选择的下降路径会更符合真实的最优下降路径。
wiki上给的图很形象,我就直接转过来了:
红色的牛顿法的迭代路径,绿色的是梯度下降法的迭代路径。
相关文章推荐
- 为什么通常牛顿法比梯度下降法能更快的收敛
- 为什么通常牛顿法比梯度下降法能更快的收敛
- 为什么牛顿法比梯度下降法法更快收敛
- 梯度下降和牛顿迭代——qjzcy的博客
- 梯度下降和随机梯度下降为什么能下降?
- 参数寻优:梯度下降/牛顿下降法 追根溯源
- 为什么梯度下降慢而用随机梯度下降
- 为什么一些机器学习模型需要对数据进行归一化?——1)归一化后加快了梯度下降求最优解的速度;2)归一化有可能提高精度
- 为什么梯度反方向是函数值下降最快的方向?
- 梯度下降法Vs牛顿下降法
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 为什么梯度下降法对于非线性可分数据有效
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 机器学习(三)梯度下降与拟牛顿
- 深度学习—加快梯度下降收敛速度(一):mini-batch、Stochastic gradient descent
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 为什么牛顿法下降的速度比梯度下降的快
- 为什么梯度反方向是函数值局部下降最快的方向?
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?