torch入门笔记5:用torch实现RNN来制作一个神经网络计时器
2016-10-09 11:27
627 查看
本节代码地址
https://github.com/vic-w/torch-practice/tree/master/rnn-timer
RNN全称Recurrent Neural Network(卷积神经网络),是通过在网络中增加回路而使其具有记忆功能。对自然语言处理,图像识别等方面都有深远影响。
这次我们要用RNN实现一个神经网络计时器,给定一个时间长度,它会等待直到时间结束,然后切换自己的状态。
如果用C语言实现一个计时器是一件非常简单的事。我们大概要这样写:
但是用神经网络如何来实现呢?我们可以把RNN网络想想成一个黑盒,它有一个输入信号和一个输出信号。我想让输入和输出符合这样的关系:
蓝色是输入,绿色是输出。当输入信号产生一个脉冲时,计时器开始工作,计时的长度由脉冲的高度决定。计时器工作时,输出为1,停止工作时,输出为0。
要实现这个功能,模块内部必须有储存单元可以记录自身的状态。最起码需要一个相当于临时变量的机制来记录已经经过的时间长度。这正是RNN需要完成的使命。
我们如果要训练RNN神经网络,首先要有足够多的数据。好在我们的数据是可以无限生成的。我使用data_gen.lua来生成大量的数据,每段数据的长度为100,储存在同一目录下data.t7文件中。
data_gen.lua需要单独执行
有了大量的数据,现在该设计我们的递归神经网络了。
这次的网络也很简单,左边有一个输入节点,中间是拥有20个节点的隐藏层,右边是一个输出节点。和多层感知器不同的是,RNN中间隐藏层里面的20个节点,每个都会连接至本层的所有节点(包括其本身)。所以这些反馈回自身的连接的个数总共有20*20=400条。
为了要在Torch里实现这样一个网络,我们需要用到rnn的库。如果之前没有安装过的话,可以在命令行里输入:
在程序中,首先仍然是包含必要的库文件。
接下来定义一些常量
接下来定义隐藏层的结构:
隐藏层r的类型是nn.Recurrent。后面跟的参数依次分别是:
1. 本层中包含的节点个数,为hiddenSize
2. 前一层(也就是输入层)到本层的连接。这里是一个输入为1,输出为hiddenSize的线性连接。
3. 本层节点到自身的反馈连接。这里是一个输入为hiddenSize,输出也是hiddenSize的线性连接。
4. 本层输入和反馈连接所用的激活函数。这里用的是Sigmoid。
5. Back propagation through time所进行的最大的次数。这里是rho = 100
接下来定义整个网络的结构:
首先定义一个容器,然后添加刚才定义好的隐藏层r。随后添加隐藏层到输出层的连接,在这里用的是输入为20,输出为1的线性连接。最后接上一层Sigmoid函数。
这里在定义网络的时候,每个具体的模块都是用nn.Sequencer的括号给括起来的。nn.Sequencer是一个修饰模块。所有经过nn.Sequencer包装过的模块都变得可以接受序列的输入。
举个例子来说,假设有一个模块本来能够接受一个2维的Tensor作为输入,并输出另一个2维的Tensor。如果我们想把一系列的2维Tensor依次输入给这个模块,需要写一个for循环来实现。有了nn.Sequencer的修饰就不用这么麻烦了。只需要把这一系列的2维Tensor统一放到一个大的table里,然后一次性的丢给nn.Sequencer就行了。nn.Sequencer会把table中的Tensor依次放入网络,并将网络输出的Tensor也依次放入一个大的table中返回给你。
定义好了网络,接下来是定义评判标准:
接下来的事情又是例行公事了。向前传播,向后传播,更新参数......
需要重点说明的是输入和输出数据的格式。我使用了MinibatchLoader(同目录下的MinibatchLoader.lua文件)来从data.t7中读取数据,每次读取8个序列,每个序列的时间长度是100。那么代码中inputs的类型是table,这个table中有100个元素,每个元素是一个2维8列1行的Tensor。在训练的时候,mini
batch中8个序列中的每一个的第一个数据一起进入网络,接下来是8个排在第二的数据一起输入,如此迭代。
当训练完成之后,用其中的组输入放进网络观察其输出:
结果显示如下:
虽然时间的把握上还有一些偏差,但这个RNN计时器可以算是基本学到了如何计时。
https://github.com/vic-w/torch-practice/tree/master/rnn-timer
RNN全称Recurrent Neural Network(卷积神经网络),是通过在网络中增加回路而使其具有记忆功能。对自然语言处理,图像识别等方面都有深远影响。
这次我们要用RNN实现一个神经网络计时器,给定一个时间长度,它会等待直到时间结束,然后切换自己的状态。
如果用C语言实现一个计时器是一件非常简单的事。我们大概要这样写:
void timer(int delay_time) { for(int i=0; i<delay_time; i++) { delay(1); } return; }
但是用神经网络如何来实现呢?我们可以把RNN网络想想成一个黑盒,它有一个输入信号和一个输出信号。我想让输入和输出符合这样的关系:
蓝色是输入,绿色是输出。当输入信号产生一个脉冲时,计时器开始工作,计时的长度由脉冲的高度决定。计时器工作时,输出为1,停止工作时,输出为0。
要实现这个功能,模块内部必须有储存单元可以记录自身的状态。最起码需要一个相当于临时变量的机制来记录已经经过的时间长度。这正是RNN需要完成的使命。
我们如果要训练RNN神经网络,首先要有足够多的数据。好在我们的数据是可以无限生成的。我使用data_gen.lua来生成大量的数据,每段数据的长度为100,储存在同一目录下data.t7文件中。
data_gen.lua需要单独执行
th data_gen.lua
有了大量的数据,现在该设计我们的递归神经网络了。
这次的网络也很简单,左边有一个输入节点,中间是拥有20个节点的隐藏层,右边是一个输出节点。和多层感知器不同的是,RNN中间隐藏层里面的20个节点,每个都会连接至本层的所有节点(包括其本身)。所以这些反馈回自身的连接的个数总共有20*20=400条。
为了要在Torch里实现这样一个网络,我们需要用到rnn的库。如果之前没有安装过的话,可以在命令行里输入:
luarocks install rnn
在程序中,首先仍然是包含必要的库文件。
require 'rnn' require 'gnuplot'
接下来定义一些常量
batchSize = 8 --mini batch的大小 rho = 100 --rnn在训练时所需考虑的时间最大长度,这也是Back propagation through time所要经历的次数 hiddenSize = 20 --中间隐藏层的节点个数
接下来定义隐藏层的结构:
r = nn.Recurrent( hiddenSize, nn.Linear(1, hiddenSize), nn.Linear(hiddenSize, hiddenSize), nn.Sigmoid(), rho )
隐藏层r的类型是nn.Recurrent。后面跟的参数依次分别是:
1. 本层中包含的节点个数,为hiddenSize
2. 前一层(也就是输入层)到本层的连接。这里是一个输入为1,输出为hiddenSize的线性连接。
3. 本层节点到自身的反馈连接。这里是一个输入为hiddenSize,输出也是hiddenSize的线性连接。
4. 本层输入和反馈连接所用的激活函数。这里用的是Sigmoid。
5. Back propagation through time所进行的最大的次数。这里是rho = 100
接下来定义整个网络的结构:
rnn = nn.Sequential() rnn:add(nn.Sequencer(r)) rnn:add(nn.Sequencer(nn.Linear(hiddenSize, 1))) rnn:add(nn.Sequencer(nn.Sigmoid()))
首先定义一个容器,然后添加刚才定义好的隐藏层r。随后添加隐藏层到输出层的连接,在这里用的是输入为20,输出为1的线性连接。最后接上一层Sigmoid函数。
这里在定义网络的时候,每个具体的模块都是用nn.Sequencer的括号给括起来的。nn.Sequencer是一个修饰模块。所有经过nn.Sequencer包装过的模块都变得可以接受序列的输入。
举个例子来说,假设有一个模块本来能够接受一个2维的Tensor作为输入,并输出另一个2维的Tensor。如果我们想把一系列的2维Tensor依次输入给这个模块,需要写一个for循环来实现。有了nn.Sequencer的修饰就不用这么麻烦了。只需要把这一系列的2维Tensor统一放到一个大的table里,然后一次性的丢给nn.Sequencer就行了。nn.Sequencer会把table中的Tensor依次放入网络,并将网络输出的Tensor也依次放入一个大的table中返回给你。
定义好了网络,接下来是定义评判标准:
criterion = nn.SequencerCriterion(nn.MSECriterion())
接下来的事情又是例行公事了。向前传播,向后传播,更新参数......
batchLoader = require 'MinibatchLoader' loader = batchLoader.create(batchSize) lr = 0.01 i = 1 for n=1,6000 do -- prepare inputs and targets local inputs, targets = loader:next_batch() local outputs = rnn:forward(inputs) local err = criterion:forward(outputs, targets) print(i, err/rho) i = i + 1 local gradOutputs = criterion:backward(outputs, targets) rnn:backward(inputs, gradOutputs) rnn:updateParameters(lr) rnn:zeroGradParameters() end
需要重点说明的是输入和输出数据的格式。我使用了MinibatchLoader(同目录下的MinibatchLoader.lua文件)来从data.t7中读取数据,每次读取8个序列,每个序列的时间长度是100。那么代码中inputs的类型是table,这个table中有100个元素,每个元素是一个2维8列1行的Tensor。在训练的时候,mini
batch中8个序列中的每一个的第一个数据一起进入网络,接下来是8个排在第二的数据一起输入,如此迭代。
当训练完成之后,用其中的组输入放进网络观察其输出:
inputs, targets = loader:next_batch() outputs = rnn:forward(inputs) x={} y={} for i=1,100 do table.insert(x,inputs[i][{1,1}]) table.insert(y,outputs[i][{1,1}]) end x = torch.Tensor(x) y = torch.Tensor(y) gnuplot.pngfigure('timer.png') gnuplot.plot({x},{y}) gnuplot.plotflush()
结果显示如下:
虽然时间的把握上还有一些偏差,但这个RNN计时器可以算是基本学到了如何计时。
相关文章推荐
- 深度学习笔记(五)用Torch实现RNN来制作一个神经网络计时器
- 深度学习笔记(五)用Torch实现RNN来制作一个神经网络计时器
- Theano入门神经网络(二) 实现一个XOR门
- torch入门笔记10:如何建立torch神经网络模型
- torch入门笔记11:如何训练神经网络
- 循环神经网络教程第二部分-用python,numpy,theano实现一个RNN
- [TensorFlow]入门学习笔记(5)-循环神经网络RNN
- Tensorflow 入门学习3 Hello TensorFlow 建立一个隐藏层的神经网络实现回归分析
- MXNet动手学深度学习笔记:循环神经网络RNN实现
- tensorflow 学习笔记12 循环神经网络RNN LSTM结构实现MNIST手写识别
- pytorch从头开始实现一个RNN(循环神经网络)
- tensorflow 学习笔记7 普通神经网络实现mnist手写识别
- tensorflow 学习笔记11 最简单的循环神经网络(RNN)
- 【机器学习入门】Andrew NG《Machine Learning》课程笔记之五:神经网络简介
- 深层神经网络实现--step by step 入门TensorFlow(二)
- tensorflow笔记(二)之构造一个简单的神经网络
- 机器学习笔记:tensorflow实现卷积神经网络经典案例--识别手写数字
- 吴恩达深度学习入门学习笔记之神经网络和深度学习(第一周)
- 吴恩达深度学习入门学习笔记之神经网络和深度学习(第二周:神经网络基础)
- 一个简单的matlab项目实现三层神经网络的简单应用