Tensorflow学习笔记--RNN精要及代码实现

1、有了dnn和cnn为什么还要有rnn？

因为rnn能够有时间序列的结构，dnn和cnn的数据可以更换位置而不影响训练。但是对于rnn它有严格的先后顺序。这样的模型似乎对于语音识别，自然语言处理等应用场景更为符合。

基础结构如下：



图1:rnn结构

注：

1）图中的 U W V三种权重参数是共享的。

2）St ＝ f(U*Xt+W*St-1) 此处没有写b，有的地方还需要加一个b。f函数一般为tanh

3）Ot = softmax(V*St)

随后就是带入数据，更新权重。但这里有一个问题W与U使用bp更新时会有St-1的输入于是乎就有了BPTT的更新算法

2、BPTT算法 (Back Propagation Through Time)

从英文的字面意思中我们可以了解到，bptt其实就是因为输入变量为时间序列所以需要进行进一步的迭代。核心原理还是bp的链式法则。结合上面2个公式我们进行以简单对w的推导：





最终就是我们的权重更新公式。

3、RNN问题与LSTM

从上面的权重更新公式中，我们会发现里面有非常多的连乘。那么这就会带来一个很大的问题：梯度弥散。这也意味着像dnn一样，随着层次增多，它的训练效率会急剧降低。

为了解决这个问题，于是乎就有LSTM。



图 原始rnn结构



图 lstm结构

主要思想：

LSTM通过某种结构，缓解了梯度下降的程度。

公式推导参考文献：http://blog.csdn.net/u010754290/article/details/47167979

模型概念参考文献：http://www.jianshu.com/p/9dc9f41f0b29

TensorFlow中只有多层lstm代码实现：

参考代码与解释：http://blog.csdn.net/u014595019/article/details/52759104

参考内容：

寒小阳课程