Deep Learning 最优化方法之Adam
2017-05-21 23:06
239 查看
本文是Deep Learning 之 最优化方法系列文章的Adam方法。主要参考Deep Learning 一书。
整个优化系列文章列表:
Deep Learning 之 最优化方法
Deep Learning 最优化方法之SGD
Deep Learning 最优化方法之Momentum(动量)
Deep Learning 最优化方法之Nesterov(牛顿动量)
Deep Learning 最优化方法之AdaGrad
Deep Learning 最优化方法之RMSProp
Deep Learning 最优化方法之Adam
先上结论:
1.Adam算法可以看做是修正后的Momentum+RMSProp算法
2.动量直接并入梯度一阶矩估计中(指数加权)
3.Adam通常被认为对超参数的选择相当鲁棒
4.学习率建议为0.001
再看算法:其实就是Momentum+RMSProp的结合,然后再修正其偏差。
整个优化系列文章列表:
Deep Learning 之 最优化方法
Deep Learning 最优化方法之SGD
Deep Learning 最优化方法之Momentum(动量)
Deep Learning 最优化方法之Nesterov(牛顿动量)
Deep Learning 最优化方法之AdaGrad
Deep Learning 最优化方法之RMSProp
Deep Learning 最优化方法之Adam
先上结论:
1.Adam算法可以看做是修正后的Momentum+RMSProp算法
2.动量直接并入梯度一阶矩估计中(指数加权)
3.Adam通常被认为对超参数的选择相当鲁棒
4.学习率建议为0.001
再看算法:其实就是Momentum+RMSProp的结合,然后再修正其偏差。
相关文章推荐
- Deep Learning 最优化方法之Momentum(动量)
- Deep Learning 最优化方法之AdaGrad
- Deep Learning 之 最优化方法
- Deep Learning 最优化方法之RMSProp
- Deep Learning 最优化方法之Nesterov(牛顿动量)
- Deep Learning 最优化方法之SGD
- Deep Learning 最优化方法之AdaGrad
- 浅谈深度学习(Deep Learning)的基本思想和方法
- 最优化方法在图像处理中的应用【1】
- Deep Learning的基本思想和方法
- 最优化方法在图像处理中的应用【3】
- 最优化方法在图像处理中的应用【5】
- 无约束最优化方法
- 最优化方法在图像处理中的应用【4】
- Deep learning:四十三(用Hessian Free方法训练Deep Network)
- 最优化方法在图像处理中的应用【2】
- 最优化方法在图像处理中的应用【3】
- 无约束最优化方法-牛顿法
- 无约束最优化方法
- 浅谈深度学习(Deep Learning)的基本思想和方法 .