对PyTorch中inplace字段的全面理解
2021-05-27 04:11
429 查看
例如
torch.nn.ReLU(inplace=True)
inplace=True
表示进行原地操作,对上一层传递下来的tensor直接进行修改,如x=x+3;
inplace=False
表示新建一个变量存储操作结果,如y=x+3,x=y;
inplace=True
可以节省运算内存,不用多存储变量。
补充:PyTorch中网络里面的inplace=True字段的意思
在例如nn.LeakyReLU(inplace=True)中的inplace字段是什么意思呢?有什么用?
inplace=True的意思是进行原地操作,例如x=x+5,对x就是一个原地操作,y=x+5,x=y,完成了与x=x+5同样的功能但是不是原地操作。
上面LeakyReLU中的inplace=True的含义是一样的,是对于Conv2d这样的上层网络传递下来的tensor直接进行修改,好处就是可以节省运算内存,不用多储存变量y。
inplace=True means that it will modify the input directly, without allocating any additional output. It can sometimes slightly decrease the memory usage, but may not always be a valid operation (because the original input is destroyed). However, if you don't see an error, it means that your use case is valid.
以上为个人经验,希望能给大家一个参考
您可能感兴趣的文章:相关文章推荐
- 深入理解表单脚本系列第二篇——表单字段
- 全面理解面向对象的 JavaScript
- memcached全面剖析-2.理解memcache…
- [转]全面理解Unity加载和内存管理
- Android源码分析-全面理解Context
- 简单十步让你全面理解SQL
- 深入理解JavaScript系列(3) 全面解析Module模式
- 全面理解 Unity UI 系统
- Android基础部分再学习---全面理解Fragment
- 全面理解Unity加载和内存管理
- Flutter完整开发实战详解(十五、全面理解State与Provider)
- 全面理解HTTP
- 全面理解java内存模型
- 全面理解Python中self的用法
- LVS之原理篇--深入全面理解LVS工作原理
- Unity-全面理解Unity加载和内存管理(转)
- 全面理解Javascript闭包和闭包的几种写法及用途
- Android源码分析-全面理解Context
- 全面理解Gradle - 执行时序
- 全面理解Unity动态加载和内存管理