pytorch 指定gpu训练与多gpu并行训练示例
2020-03-25 12:06
1181 查看
一. 指定一个gpu训练的两种方法:
1.代码中指定
import torch torch.cuda.set_device(id)
2.终端中指定
CUDA_VISIBLE_DEVICES=1 python 你的程序
其中id就是你的gpu编号
二. 多gpu并行训练:
torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)
该函数实现了在module级别上的数据并行使用,注意batch size要大于GPU的数量。
参数 :
module:需要多GPU训练的网络模型
device_ids: GPU的编号(默认全部GPU,或[0,1] ,[0,1,2])
output_device:(默认是device_ids[0])
dim:tensors被分散的维度,默认是0
在保存模型时要注意要加上"module",例如:
network.module.state_dict()
以上这篇pytorch 指定gpu训练与多gpu并行训练示例就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
相关文章推荐
- 在pytorch中为Module和Tensor指定GPU的例子
- 装不了 pytorch=0.4.0? ubuntu下 基于 cuda=92 和 pytorch=1.2 配置环境跑通 CornerNet 训练和测试流程 步骤详解(包括GPU限制问题详解)
- pytorch中设定使用指定的GPU
- pytorch 使用单个GPU与多个GPU进行训练与测试的方法
- 使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval
- pytorch在cpu上加载预先训练好的GPU模型以及GPU上加载CPU上训练的Model
- Pytorch:使用GPU训练
- 用Pytorch训练CNN(数据集MNIST,使用GPU的方法)
- 用Pytorch训练CNN(数据集MNIST,使用GPU)
- 解决了PyTorch 使用torch.nn.DataParallel 进行多GPU训练的一个BUG:模型(参数)和数据不在相同设备上
- pytorch 分布式训练GPU模型转CPU
- TensorFlow训练模型,指定GPU训练,设置显存,查看gpu占用
- Pytorch指定特定GPU运行
- TensorFlow在训练模型时指定GPU进行训练
- pytorch指定gpu运行
- tensorflow在训练模型的时候如何指定GPU进行训练
- keras使用多GPU并行训练模型 | keras multi gpu training
- pytorch使用指定GPU训练的实例
- pytorch多GPU使用和指定某个GPU并且多gpu比单gpu快吗?
- 使用Tensorflow实现多GPU并行训练