一文理解深度学习，卷积神经网络，循环神经网络的脉络和原理4-循环神经网络，LSTM

    循环神经网络很早就有了，其结构如下图。注意，这里其实只有一个神经网络结构。而不是7个。下图是为了方便表示，一次把7个时间的网络都画在上面。举个翻译的例子，I am hungry 比如在时间1，我们输入了 I，通过神经网络 输出了对应的翻译 我。然后时间2 ，输入了 am。这个时候网络的输入不但是 am，还有上次 I的隐层的输出。就相当于，网络不但考虑了当前输入，还考虑了以前的输入。



如果把神经网络，按照时间倒序 7-1展开的话，就是下面的神经网络结构。其实就相当于一个很深的BP神经网络，所以也会存在前面文章提到的梯度消失的问题。所以传统的RNN，其实能够记住的记忆是固定的而且，不能太长。这是一个很大的缺点。



针对上述RNN的缺点，有人发明了LSTM，可以让一个神经元细胞，有选择的记住或者，忘记某些事情。如下图。主要就是多了三个门。输入门，忘记门，输出门。



LSTM的网络结构和工作原理。还拿刚才翻译的例子，I的输入，会影响4和6，



Lstm的详细推导参考

http://blog.csdn.net/u010754290/article/details/47167979

这里讲述大体过程。

单个的神经元结构如下:



前向传递计算的大体流程,需要严格按照顺序：对应上图。

输入门输出: Yin=y(Zin*Win)
忘记门输出: Yφ=y(Zφ*Wφ)
细胞输入:Sc=g(Wc*Zc)*Yin+Yφ*CEC
输出门输出:Yout=(Zout*Wout)
整个细胞输出:h(Sc)*Yout

误差信号反向传播的计算过程和上述正好相反。

具体计算公式如下：

符号约定:

wij表示从神经元i到j的连接权重(注意这和很多论文的表示是反着的)
神经元的输入用a表示，输出用b表示
下标 ι, φ 和 ω分别表示input gate, forget gate，output gate 
c下标表示cell，从cell到 input, forget和output gate的peephole权重分别记做  wcι , wcφ and wcω
Sc表示cell c的状态
控制门的激活函数用f表示，g，h分别表示cell的输入输出激活函数
I表示输入层的神经元的个数，K是输出层的神经元个数，H是隐层cell的个数

前向传播过程:





误差反向传播过程: