tf.identity 和 tf.control_dependencies的用法
2018-02-18 18:01
726 查看
关于 tf.control_dependencies(具体参考博客,也是本文主要参考对象):
tf.control_dependencies(control_inputs)设计是用来控制计算流图的,给图中的某些计算指定顺序。比如:我们想要获取参数更新后的值,那么我们可以这么组织我们的代码。
总结一句话就是,在执行某些op,tensor之前,某些op,tensor得首先被运行。
关于tf.identity的用法:
简单地说就是返回了一个一模一样新的tensor,再control_dependencies的作用块下,需要增加一个新节点到gragh中。(别人的总结:为cpu gpu传输什么的提供更好的性能。就像你做一个电路板,有些地方要把线路引出来,调试的时候可以看中间结果一样,tf.identity就是为了在图上显示这个值而创建的虚拟节点。)
在Stack Overflow中有一个问题对tf.identity进行了举例,具体如下:
上面的代码返回结果为:
因为这样相当于x_plus_1 这个op没有被运行,因为一般我们在session中会这么执行:
返回的结果即是我们想要得到的效果:
但是通过tf.identity也可以得到相同的结果:
第一种情况:
也许你会觉得,在我们 sess.run([ema_val]), ema_op 都会被先执行,然后再计算ema_val,实际情况并不是这样,为什么?
有兴趣的可以看一下源码,就会发现 ema.average(update) 不是一个 op,它只是从ema对象的一个字典中取出键对应的 tensor 而已,然后赋值给ema_val。这个 tensor是由一个在 tf.control_dependencies([ema_op]) 外部的一个 op 计算得来的,所以 control_dependencies会失效。解决方法也很简单,看代码:
第二种情况:这个情况一般不会碰到
这种情况下,control_dependencies也不 work。读取 w1 的值并不会触发 ema_op, 原因请看代码:
tf.control_dependencies(control_inputs)设计是用来控制计算流图的,给图中的某些计算指定顺序。比如:我们想要获取参数更新后的值,那么我们可以这么组织我们的代码。
opt = tf.train.Optimizer().minize(loss) with tf.control_dependencies([opt]): # 即执行过括号中的操作再执行下面的操作 updated_weight = tf.identity(weight) with tf.Session() as sess: tf.global_variables_initializer().run() sess.run(updated_weight, feed_dict={...}) # 这样每次得到的都是更新后的weight
总结一句话就是,在执行某些op,tensor之前,某些op,tensor得首先被运行。
关于tf.identity的用法:
tf.identity(input,name=None) #Return a tensor with the same shape and contents as input. #返回一个tensor,contents和shape都和input的一样。
简单地说就是返回了一个一模一样新的tensor,再control_dependencies的作用块下,需要增加一个新节点到gragh中。(别人的总结:为cpu gpu传输什么的提供更好的性能。就像你做一个电路板,有些地方要把线路引出来,调试的时候可以看中间结果一样,tf.identity就是为了在图上显示这个值而创建的虚拟节点。)
在Stack Overflow中有一个问题对tf.identity进行了举例,具体如下:
x = tf.Variable(0.0) x_plus_1 = tf.assign_add(x, 1) # 对x进行加1,x_plus_l是个op with tf.control_dependencies([x_plus_1]): y = x init = tf.global_variables_initializer() with tf.Session() as session: init.run() # 相当于session.run(init) for i in xrange(5): print(y.eval()) # y.eval()这个相当于session.run(y)
上面的代码返回结果为:
0.0 0.0 0.0 0.0 0.0
因为这样相当于x_plus_1 这个op没有被运行,因为一般我们在session中会这么执行:
with tf.Session() as session: init.run() for i in range(5): session.run(x_plus_1) #添加了这行代码 print(y.eval())
返回的结果即是我们想要得到的效果:
1.0 2.0 3.0 4.0 5.0
但是通过tf.identity也可以得到相同的结果:
x = tf.Variable(0.0) x_plus_1 = tf.assign_add(x, 1) with tf.control_dependencies([x_plus_1]): y = tf.identity(x) init = tf.initialize_all_variables() with tf.Session() as session: init.run() for i in xrange(5): print(y.eval())
下面说明两种 control_dependencies 不 work 的情况
下面有两种情况,control_dependencies不work,其实并不是它真的不work,而是我们的使用方法有问题。第一种情况:
import tensorflow as tf w = tf.Variable(1.0) ema = tf.train.ExponentialMovingAverage(0.9) update = tf.assign_add(w, 1.0) ema_op = ema.apply([update]) with tf.control_dependencies([ema_op]): ema_val = ema.average(update) with tf.Session() as sess: tf.global_variables_initializer().run() for i in range(3): print(sess.run([ema_val]))
也许你会觉得,在我们 sess.run([ema_val]), ema_op 都会被先执行,然后再计算ema_val,实际情况并不是这样,为什么?
有兴趣的可以看一下源码,就会发现 ema.average(update) 不是一个 op,它只是从ema对象的一个字典中取出键对应的 tensor 而已,然后赋值给ema_val。这个 tensor是由一个在 tf.control_dependencies([ema_op]) 外部的一个 op 计算得来的,所以 control_dependencies会失效。解决方法也很简单,看代码:
import tensorflow as tf w = tf.Variable(1.0) ema = tf.train.ExponentialMovingAverage(0.9) update = tf.assign_add(w, 1.0) ema_op = ema.apply([update]) with tf.control_dependencies([ema_op]): ema_val = tf.identity(ema.average(update)) #一个identity搞定 with tf.Session() as sess: tf.global_variables_initializer().run() for i in range(3): print(sess.run([ema_val]))
第二种情况:这个情况一般不会碰到
import tensorflow as tf w = tf.Variable(1.0) ema = tf.train.ExponentialMovingAverage(0.9) update = tf.assign_add(w, 1.0) ema_op = ema.apply([update]) with tf.control_dependencies([ema_op]): w1 = tf.Variable(2.0) ema_val = ema.average(update) with tf.Session() as sess: tf.global_variables_initializer().run() for i in range(3): print(sess.run([ema_val, w1]))
这种情况下,control_dependencies也不 work。读取 w1 的值并不会触发 ema_op, 原因请看代码:
#这段代码出现在Variable类定义文件中第287行, # 在创建Varible时,tensorflow是移除了dependencies了的 #所以会出现 control 不住的情况 with ops.control_dependencies(None): ...
相关文章推荐
- tf.control_dependencies()作用及用法
- (Tensorflow之十)tf.control_dependencies()用法
- tf.control_dependencies()和tf.identity()
- tf.control_dependencies与tf.identity组合详解
- tf.control_dependencies()作用及用法
- TensorFlow入门基础知识(七)tf.control_dependencies的用法
- Tensorflow 解惑[一]:关于tf.identity 和tf.control_dependencies
- tensorflow API:tf.control_dependencies
- tf.control_dependencies()
- tf.control_dependencies()
- tensorflow tf.argmax() 用法 例子
- List Control & Tree Control & CImageCtrl 基本常规用法学习笔记
- 『TensorFlow』流程控制之tf.identity
- TensorFlow入门基础知识(五)tf.add_n()的用法
- TensorFlow 官方文档中文版解读之2——tf.sparse_to_dense的用法
- ajaxControlToolkit---ValidatorCalloutExtender的简单用法
- 【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法
- tf.nn.in_top_k的用法
- 【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法
- mfc list control 用法