有关Tensorflow梯度下降常用的优化方法分享
2020-02-13 11:30
543 查看
1.tf.train.exponential_decay() 指数衰减学习率:
#tf.train.exponential_decay(learning_rate, global_steps, decay_steps, decay_rate, staircase=True/False): #指数衰减学习率 #learning_rate-学习率 #global_steps-训练轮数 #decay_steps-完整的使用一遍训练数据所需的迭代轮数;=总训练样本数/batch #decay_rate-衰减速度 #staircase-衰减方式;=True,那就表明每decay_steps次计算学习速率变化,更新原始学习速率;=alse,那就是每一步都更新学习速率。learning_rate = tf.train.exponential_decay( initial_learning_rate = 0.001 global_step = tf.Variable(0, trainable=False) decay_steps = 100 decay_rate = 0.95 total_loss = slim.losses.get_total_loss() learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate') optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)
2.tf.train.ExponentialMovingAverage(decay, steps) 滑动平均更新参数:
initial_learning_rate = 0.001 global_step = tf.Variable(0, trainable=False) decay_steps = 100 decay_rate = 0.95 total_loss = slim.losses.get_total_loss() learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate') optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step) ema = tf.train.ExponentialMovingAverage(decay=0.9999) #tf.trainable_variables--返回的是需要训练的变量列表 averages_op = ema.apply(tf.trainable_variables()) with tf.control_dependencies([optimizer]): train_op = tf.group(averages_op)
以上这篇有关Tensorflow梯度下降常用的优化方法分享就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
相关文章推荐
- 几种常用的优化方法梯度下降法、牛顿法、)
- 几种常用的优化方法梯度下降法、牛顿法、)
- [转] 种常用的优化方法梯度下降法、牛顿法、共轭梯度法
- 几种常用的优化方法梯度下降法、牛顿法、共轭梯度法
- NN优化方法对照:梯度下降、随机梯度下降和批量梯度下降
- 机器学习8.常用优化方法(梯度下降/最速下降/共轭梯度/牛顿/拟牛顿)
- 梯度下降如何跳过局部最优(深度学习各种优化方法详解)【持续更新】
- 优化方法——梯度下降
- 梯度下降优化方法综述(Optimizer)
- 一文看懂各种神经网络优化算法:从梯度下降到Adam方法
- 梯度下降优化方法总结
- 优化方法总结:梯度下降法、牛顿法、拟牛顿法、共轭梯度法等等
- NN优化方法对照:梯度下降、随机梯度下降和批量梯度下降
- NN优化方法对比:梯度下降、随机梯度下降和批量梯度下降
- 神经网络梯度下降优化算法及初始化方法小结
- Machine Learning - WEEK 1 2 3- 线性回归 、逻辑回归、梯度下降法及其优化算法、传统方法、 Octave 入门
- 机器学习常用优化算法--梯度下降,牛顿法,共轭梯度法,拉格朗日乘数法
- 机器学习的训练算法(优化方法)汇总——梯度下降法及其改进算法
- 常用的网站优化方法分享
- 梯度下降优化方法的思考