浅谈tensorflow之内存暴涨问题
在用tensorflow实现一些模型的时候,有时候我们在运行程序的时候,会发现程序占用的内存在不断增长。最后内存溢出,程序被kill掉了。
这个问题,其实有两个可能性。一个是比较常见,同时也是很难发现的。这个问题的解决,需要我们知道tensorflow在构图的时候,是没有所谓的临时变量的,只要有operator。那么tensorflow就会在构建的图中增加这个operator所代表的节点。所以,在运行程序的过程中,内存不断增长的原因就是在模型训练迭代的过程中,tensorflow一直在帮你增加图的节点。导致内存占用越来越多。
那么什么情况下就会像上面说的那样呢?我们举个例子:
import tensorflow as tf x = tf.Variable(tf.constant(1)) y = tf.constant(2) sess = tf.Session() sess.run(tf.global_variables_initializer()) while True: print(sess.run(x+y))
如果你运行上面这段代码,会发现在运行的过程中,内存占用越来越大。原因就在于sess.run(x+y)这个语句。我们知道在tensorflow中,所有的操作都是graph的节点。而在迭代的过程中,x+y这个operator(操作)是匿名的,所以它会不断地重复,在graph中创建节点,导致内存占用越来越大。
所以要对上面的代码进行修改:
z = x+y while True: print(sess.run(z))
这样就不会出现问题了。
上面只是一个简单的例子,我们可以很快发现问题。但是有时候我们的模型比较复杂,很难判断是否在迭代的过程中一直在增加节点。那怎么办呢?
其实在tensorflow里面有个函数叫做:
sess.graph.finalize()
只要每一次构图完成后,调用这个函数。然后运行程序,如果你的程序在运行的过程中还一直新建节点,这个函数就会检测到,然后就会报错。这样你就知道你的程序中一定有不合理的地方。
另一个导致内存暴涨的原因是,数据的加载问题。tensorflow现在有一个API接口,tf.data.Dataset 。这个接口里面有个函数叫做cache(filename)。cache函数的作用是将加载进来的数据存放到filename指定的地方。但是如果我们没有指定filename,数据就是一直存储在内存中。所以,随着迭代次数的增加,存储在内存中的数据越来越多,就会导致内存暴涨。所以要么不要使用这个函数,要么就要记得添加filename参数。
以上这篇浅谈tensorflow之内存暴涨问题就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
- c++对内存的浅谈以及内存泄漏问题的探讨之一
- c++对内存的浅谈以及内存泄漏问题的探讨之六
- 使用RabbitMQ过程中遇到的一个问题(队列为空,但内存暴涨)以及与开发者的邮件沟通
- 解决tensorflow训练时内存持续增加并占满的问题
- c++对内存的浅谈以及内存泄漏问题的探讨之七
- 浅谈 c++ 与 c 中的动态内存开辟问题
- 浅谈C/C++结构体内存分配问题
- tensorflow初始化参数内存占满问题
- 浅谈js基础数据类型和引用类型,深浅拷贝问题,以及内存分配问题
- Myeclipse8.5与flash builder 4.5整合内存暴涨问题
- 浅谈java的内存分配问题
- c++对内存的浅谈以及内存泄漏问题的探讨之八
- c++对内存的浅谈以及内存泄漏问题的探讨之九
- cusparseScsrsv_analysis函数导致内存暴涨问题
- 关于内存泄露和溢出问题浅谈
- 浅谈js 闭包引起的内存泄露问题
- 转:浅谈Java中数据在内存中的状态,以及String、StringBuffer、==、equals、数组等问题
- 浅谈jvm内存溢出和死锁问题
- 关于使用mint-ui下拉加载组件遇到的内存暴涨,导致页面卡死的问题
- Silverlight内存问题总结(四)—用Listbox 来模拟实现轻量级的TreeView控件,解决内存暴涨上百M的问题