TensorFlow入门基础知识(七)tf.control_dependencies的用法
2018-03-28 21:16
2783 查看
原作者链接:https://blog.csdn.net/u012436149/article/details/72084744
2
3
4
5
6
7
8
9
关于tf.control_dependencies的具体用法,請移步官网https://www.tensorflow.org/api_docs/python/tf/Graph#control_dependencies,总结一句话就是,在执行某些
2
3
4
5
6
7
8
9
10
11
12
13
也许你会觉得,在我们
有兴趣的可以看一下源码,就会发现
2
3
4
5
6
7
8
9
10
11
12
13
第二种情况: 这个情况一般不会碰到,这是我在测试
2
3
4
5
6
7
8
9
10
11
12
13
14
这种情况下,
tf.control_dependencies()设计是用来控制计算流图的,给图中的某些计算指定顺序。比如:我们想要获取参数更新后的值,那么我们可以这么组织我们的代码。
opt = tf.train.Optimizer().minize(loss) with tf.control_dependencies([opt]): updated_weight = tf.identity(weight) with tf.Session() as sess: tf.global_variables_initializer().run() sess.run(updated_weight, feed_dict={...}) # 这样每次得到的都是更新后的weight1
2
3
4
5
6
7
8
9
关于tf.control_dependencies的具体用法,請移步官网https://www.tensorflow.org/api_docs/python/tf/Graph#control_dependencies,总结一句话就是,在执行某些
op,tensor之前,某些
op,tensor得首先被运行。
下面说明两种 control_dependencies 不 work 的情况
下面有两种情况,control_dependencies不work,其实并不是它真的不work,而是我们的使用方法有问题。第一种情况:import tensorflow as tf w = tf.Variable(1.0) ema = tf.train.ExponentialMovingAverage(0.9) update = tf.assign_add(w, 1.0) ema_op = ema.apply([update]) with tf.control_dependencies([ema_op]): ema_val = ema.average(update) with tf.Session() as sess: tf.global_variables_initializer().run() for i in range(3): print(sess.run([ema_val]))1
2
3
4
5
6
7
8
9
10
11
12
13
也许你会觉得,在我们
sess.run([ema_val]),
ema_op都会被先执行,然后再计算
ema_val,实际情况并不是这样,为什么?
有兴趣的可以看一下源码,就会发现
ema.average(update)不是一个
op,它只是从
ema对象的一个字典中取出键对应的
tensor而已,然后赋值给
ema_val。这个
tensor是由一个在
tf.control_dependencies([ema_op])外部的一个
op计算得来的,所以
control_dependencies会失效。解决方法也很简单,看代码:
import tensorflow as tf w = tf.Variable(1.0) ema = tf.train.ExponentialMovingAverage(0.9) update = tf.assign_add(w, 1.0) ema_op = ema.apply([update]) with tf.control_dependencies([ema_op]): ema_val = tf.identity(ema.average(update)) #一个identity搞定 with tf.Session() as sess: tf.global_variables_initializer().run() for i in range(3): print(sess.run([ema_val]))1
2
3
4
5
6
7
8
9
10
11
12
13
第二种情况: 这个情况一般不会碰到,这是我在测试
control_dependencies发现的
import tensorflow as tf w = tf.Variable(1.0) ema = tf.train.ExponentialMovingAverage(0.9) update = tf.assign_add(w, 1.0) ema_op = ema.apply([update]) with tf.control_dependencies([ema_op]): w1 = tf.Variable(2.0) ema_val = ema.average(update) with tf.Session() as sess: tf.global_variables_initializer().run() for i in range(3): print(sess.run([ema_val, w1]))1
2
3
4
5
6
7
8
9
10
11
12
13
14
这种情况下,
control_dependencies也不 work。读取
w1的值并不会触发
ema_op, 原因请看代码:
#这段代码出现在Variable类定义文件中第287行, # 在创建Varible时,tensorflow是移除了dependencies了的 #所以会出现 control 不住的情况 with ops.control_dependencies(None): ...
相关文章推荐
- TensorFlow入门基础知识(四)tf.sparse_to_dense的用法
- TensorFlow入门基础知识(五)tf.add_n()的用法
- TensorFlow入门基础知识(六)tf.train.ExponentialMovingAverage()的用法
- TensorFlow入门基础知识(七)tf.train.exponential_decay的用法
- (Tensorflow之十)tf.control_dependencies()用法
- TensorFlow入门深度学习--01.基础知识
- tf.control_dependencies()作用及用法
- tf.identity 和 tf.control_dependencies的用法
- TensorFlow入门基础知识(二)TensorBoard可视化助手相关函数
- TensorFlow入门基础知识(三)lrn函数详解
- TensorFlow入门深度学习–09.tf.contrib.slim用法详解
- tf.control_dependencies()作用及用法
- TensorFlow基础用法入门教程
- 第一阶段-入门详细图文讲解tensorflow1.4 -(三)TensorFlow 编程基础知识
- Tensorflow基础知识与神经网络构建--step by step 入门TensorFlow(一)
- Tensorflow 解惑[一]:关于tf.identity 和tf.control_dependencies
- TensorFlow入门使用 tf.train.Saver()保存模型
- dp动态规划入门基础技能点必备知识
- 脱壳基础知识入门及FAQ
- Java基础知识——JNI入门介绍