您的位置:首页 > 其它

tensorflow如何实现梯度截断

2019-10-14 16:08 197 查看
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/bonjourdeutsch/article/details/102550758
[code]optimizer = tf.train.AdamOptimizer(learning_rate=FLAGS.learning_rate)
grads_and_vars = optimizer.compute_gradients(self.loss)
for i, (g, v) in enumerate(grads_and_vars):
if g is not None:
grads_and_vars[i] = (tf.clip_by_norm(g, FLAGS.norm_clip), v)
self.train_op = optimizer.apply_gradients(grads_and_vars, global_step=self.global_step)

如上,需要在计算梯度和梯度更新中间添加几行代码。

 

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: