Keras 快速解决OOM超内存的问题
2020-06-20 11:47
155 查看
如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。
解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。
详情参考 https://keras.io/backend/#backend-functions。
from keras import backend as K
K.clear_session()
补充知识:Keras多次加载模型进行测试时内存溢出的解决方法
在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。
方法如下:在每次加载模型之前,清空模型占用的内存即可。
import tensorflow as tf from keras import backend as K K.clear_session() tf.reset_default_graph() ‘'‘加载模型位置'‘'
更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/
以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
相关文章推荐
- Keras解决OOM超内存问题
- PS2017使用快速选择工具的时候因内存不足提示“要求96和8之间的整数,已插入最接近的数值”问题解决方案
- 解决加载多图oom,内存和硬盘缓冲,过滤重复链接,同一视图没被缓冲前,某些view不显示的问题。
- 文件内存映射mmap解决大文件快速读写问题和进程间共享内存
- Linux内存高,触发oom-killer问题解决
- LINUX内存高,触发OOM-KILLER问题解决
- Linux内存高,触发oom-killer问题解决
- 如何解决加载大图片时内存溢出的问题 OOM
- android 内存泄漏篇——OOM问题的解决办法总结
- 如何比较Keras, TensorLayer, TFLearn ?——如果只是想玩玩深度学习,想快速上手 -- Keras 如果工作中需要解决内部问题,想快速见效果 -- TFLearn 或者 Tensorlayer 如果正式发布的产品和业务,自己设计网络模型,需要持续开发和维护 -- Tensorlayer
- keras+tensorflow出现的内存溢出问题解决方法
- Linux读取文件,导致内存高,触发oom-killer问题解决
- Linux内存高,触发oom-killer问题解决
- Keras用data generators解决内存问题
- Linux内存高,触发oom-killer问题解决
- Android中按比例缩放图片以减少内存消耗 解决oom问题
- Java服务,内存OOM问题如何快速定位?
- LINUX内存高,触发OOM-KILLER问题解决
- LINUX内存高,触发OOM-KILLER问题解决
- kera中使用keras.banked.ctc_decoder()导致内存不断增加的问题解决