torch入门笔记17:使用随机梯度下降训练神经网络StochasticGradient

使用随机梯度下降训练神经网络

StochasticGradient是一个比较高层次的类，它接受两个参数，module和criterion，前者是模型结构，后者是损失函数的类型。这个类本身有一些参数：

LearningRate: 这是学习率，不用多说

LearningRateDecay: 学习率衰减，current_learning_rate =learningRate / (1 + iteration * learningRateDecay)

maxIteration: 最大迭代次数

shuffleIndices 是否洗数据

hookExample 这个比较神奇，是一个钩子函数，具体功能不详。

hookIteration: 同样的。

 

 

如何使用StochasticGradient来训练神经网络？

只有两步
准备好你的数据
设计好神经网络结构和loss function

 

同样的用官方文档的一个例子：

准备数据集：

dataset={};

function dataset:size() return 100 end -- 100 examples

for i=1,dataset:size() do

  local input = torch.randn(2);     -- normally distributed example in 2d

  local output = torch.Tensor(1);

  if input[1]*input[2]>0 then     -- calculate label for XOR function

    output[1] = -1;

  else

    output[1] = 1

  end

  dataset[i] = {input, output}

end

 

定义神经网络：

require "nn"

mlp = nn.Sequential();  -- make a multi-layer perceptron

inputs = 2; outputs = 1; HUs = 20; -- parameters

mlp:add(nn.Linear(inputs, HUs))

mlp:add(nn.Tanh())

mlp:add(nn.Linear(HUs, outputs))

训练网络：

criterion = nn.MSECriterion() 

trainer = nn.StochasticGradient(mlp, criterion)

trainer.learningRate = 0.01

trainer:train(dataset)

 

同样的，如果不使用stochasticGradient类，手动训练神经网络也是可以的。

这里举得例子是训练XOR问题。

带有一层隐藏层的神经网络：

require "nn"

mlp = nn.Sequential();  -- make a multi-layer perceptron

inputs = 2; outputs = 1; HUs = 20; -- parameters

mlp:add(nn.Linear(inputs, HUs))

mlp:add(nn.Tanh())

mlp:add(nn.Linear(HUs, outputs))

 

Loss function：

Criterion = nn.MSECriterion()

 

Training:

for i = 1,2500 do

  -- random sample(生成数据集)

  local input= torch.randn(2);     -- normally distributed example in 2d

  local output= torch.Tensor(1);

  if input[1]*input[2] > 0 then  -- calculate label for XOR function

    output[1] = -1

  else

    output[1] = 1

  end

 

-- 这里需要注意的是criterion的forward和nn的forward的调用顺序

 

  -- feed it to the neural network and the criterion

  criterion:forward(mlp:forward(input), output)

 

  -- train over this example in 3 steps

  -- (1) zero the accumulation of the gradients

  mlp:zeroGradParameters()

  -- (2) accumulate gradients

  mlp:backward(input, criterion:backward(mlp.output, output))

  -- (3) update parameters with a 0.01 learning rate

  mlp:updateParameters(0.01)

end