为什么牛顿法下降的速度比梯度下降的快
2015-04-17 15:55
253 查看
梯度法是从初值开始按照负梯度方向一步一步走,确定方向、确定步长、再确定方向、再确定步长.只顾眼前情况,大局观念差~牛顿法是令目标函数梯度等于零,直接解方程,求方向,目的就是一步就跨到最优解,只不过由于求解是近似的,导致这一步走得不太准,还需要在迭代,但是已经能说明目标观念很强了~
http://zuoye.baidu.com/question/5e1c59091fb9dc8e8264f60cdf1e49d1.html
http://zuoye.baidu.com/question/5e1c59091fb9dc8e8264f60cdf1e49d1.html
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 最优化问题中，牛顿法为什么比梯度下降法求解需要的迭代次数更少？
- 为什么一些机器学习模型需要对数据进行归一化？——1）归一化后加快了梯度下降求最优解的速度；2）归一化有可能提高精度
- 在梯度下降法中，为什么梯度的负方向是函数下降最快的方向？
- 算法细节系列（3）：梯度下降法，牛顿法，拟牛顿法
- [转] 种常用的优化方法梯度下降法、牛顿法、共轭梯度法
- 深度学习—加快梯度下降收敛速度（二）：Monmentum、RMSprop、Adam
- 牛顿法,拟牛顿法,梯度下降,随机梯度下降
- 梯度下降、牛顿法、拟牛顿法比较
- 在梯度下降法中，为什么梯度的负方向是函数下降最快的方向？
- 为什么梯度反方向是函数值局部下降最快的方向？
- 机器学习中梯度下降法和牛顿法的比较
- 在梯度下降法中，为什么梯度的负方向是函数下降最快的方向？
- 梯度下降法、牛顿法、拟牛顿法
- 机器学习中梯度下降法和牛顿法的比较
- 在梯度下降法中，为什么梯度的负方向是函数下降最快的方向？
- 梯度下降法,牛顿法,坐标下降法
- 梯度下降和牛顿法
- 为什么牛顿法比梯度下降法法更快收敛
- 为什么通常牛顿法比梯度下降法能更快的收敛
- 几种常用的优化方法梯度下降法、牛顿法、）