使用GPU训练

使用GPU进行训练

1. CPU：fluid.CPUPlace()
2. GPU: fluid.CUDAPlace(0)，四个GPU卡的编号0,1,2,3

#仅前3行代码有所变化，在使用GPU时，可以将use_gpu变量设置成True
use_gpu = False
place = fluid.CUDAPlace(0) if use_gpu else fluid.CPUPlace()

with fluid.dygraph.guard(place):  #用place作为资源进行训练
model = MNIST()
model.train()
#调用加载数据的函数
train_loader = load_data('train')

分布式训练（多卡）

两种并行计算

• 模式并行：节省内存，应用较为受限（模型非常大，内存放不下）
• 数据并行：飞桨框架采用（训练节点上运行供养的程序，以不同的数据训练，不同节点得到的梯度要聚合。数据进行多机多卡拆分）

实现“多GPU卡”的分布式训练

程序修改

• 启动训练前
  获取环境变量定义额GPU序列号，对原模型进行预处理，定义多GPU训练的reader，不同ID的GPU
  加载不同的数据集

##修改1-从环境变量获取使用GPU的序号
place = fluid.CUDAPlace(fluid.dygraph.parallel.Env().dev_id)

with fluid.dygraph.guard(place):

##修改2-对原模型做并行化预处理
strategy = fluid.dygraph.parallel.prepare_context()
model = MNIST()
model = fluid.dygraph.parallel.DataParallel(model, strategy)

model.train()

#调用加载数据的函数
train_loader = load_data('train')
##修改3-多GPU数据读取，必须确保每个进程读取的数据是不同的
train_loader = fluid.contrib.reader.distributed_batch_reader(train_loader)

• 训练过程中
  对loss进行调整，收集参数梯度

# 修改4-多GPU训练需要对Loss做出调整，并聚合不同设备上的参数梯度
avg_loss = model.scale_loss(avg_loss)
avg_loss.backward()
model.apply_collective_grads()

命令行调用

具体在哪些GPU上调用

$ python -m paddle.distributed.launch --selected_gpus=0,1,2,3 --log_dir ./mylog train_multi_gpu.py

• paddle.distributed.launch：启动分布式运行。
• selected_gpus：设置使用的GPU的序号（需要是多GPU卡的机器，通过命令watch nvidia-smi查看GPU的序号）。
• log_dir：存放训练的log，若不设置，每个GPU上的训练信息都会打印到屏幕。
• train_multi_gpu.py：多GPU训练的程序，包含修改过的train_multi_gpu()函数。

训练完成后，在指定的./mylog文件夹下会产生四个日志文件。打在一起控制台会乱掉，就放在不同的日志文件。