为什么牛顿法比梯度下降法法更快收敛
2013-09-22 10:56
253 查看
原文链接:http://blog.csdn.net/wenyusuran/article/details/40779977
分类: 机器学习与数据挖掘2013-09-22
10:56 126人阅读 评论(1) 收藏 举报
优化
问题:为什么通常牛顿法比梯度下降法能更快的收敛?
解答:牛顿法是二阶收敛,梯度下降是一阶收敛,所以牛顿法就更快。如果更通俗地说的话,比如你想找一条最短的路径走到一个盆地的最底部,梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步,牛顿法在选择方向时,不仅会考虑坡度是否够大,还会考虑你走了一步之后,坡度是否会变得更大。所以,可以说牛顿法比梯度下降法看得更远一点,能更快地走到最底部。
根据wiki上的解释,从几何上说,牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面,而梯度下降法是用一个平面去拟合当前的局部曲面,通常情况下,二次曲面的拟合会比平面更好,所以牛顿法选择的下降路径会更符合真实的最优下降路径。
wiki上给的图很形象,我就直接转过来了:
![](https://img-blog.csdn.net/20130922105544015?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvamlyb25nemlfY3MyMDEx/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
红色的牛顿法的迭代路径,绿色的是梯度下降法的迭代路径。
为什么通常牛顿法比梯度下降法能更快的收敛
分类: 机器学习与数据挖掘2013-09-2210:56 126人阅读 评论(1) 收藏 举报
优化
问题:为什么通常牛顿法比梯度下降法能更快的收敛?
解答:牛顿法是二阶收敛,梯度下降是一阶收敛,所以牛顿法就更快。如果更通俗地说的话,比如你想找一条最短的路径走到一个盆地的最底部,梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步,牛顿法在选择方向时,不仅会考虑坡度是否够大,还会考虑你走了一步之后,坡度是否会变得更大。所以,可以说牛顿法比梯度下降法看得更远一点,能更快地走到最底部。
根据wiki上的解释,从几何上说,牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面,而梯度下降法是用一个平面去拟合当前的局部曲面,通常情况下,二次曲面的拟合会比平面更好,所以牛顿法选择的下降路径会更符合真实的最优下降路径。
wiki上给的图很形象,我就直接转过来了:
红色的牛顿法的迭代路径,绿色的是梯度下降法的迭代路径。
相关文章推荐
- 为什么通常牛顿法比梯度下降法能更快的收敛
- 为什么通常牛顿法比梯度下降法能更快的收敛
- 为什么通常牛顿法比梯度下降法能更快的收敛
- 梯度下降和牛顿迭代——qjzcy的博客
- 梯度下降和随机梯度下降为什么能下降?
- 为什么有导师的基于梯度下降的机器学习喜欢用欧氏距离来度量误差
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 为什么梯度下降法对于非线性可分数据有效
- 最优化问题中,牛顿法为什么比梯度下降法求解需要的迭代次数更少?
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 为什么梯度反方向是函数值下降最快的方向?
- 深度学习—加快梯度下降收敛速度(二):Monmentum、RMSprop、Adam
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 机器学习(三)梯度下降与拟牛顿
- 为什么梯度下降是有效的?
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 为什么牛顿法下降的速度比梯度下降的快
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?
- 为什么梯度方向是函数值增长最快而不是下降最快的方向?
- 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?