您的位置:首页 > 理论基础 > 计算机网络

深度学习笔记——循环神经网络RNN/LSTM

2020-08-18 17:54 966 查看

原文来自知乎专栏NLP进阶之路,作者韦伟。
以下文章是摘录了原文部分内容的学习笔记,侵删。

循环神经网络(Rerrent Neural Network)

RNN是神经网络的一种,RNN对具有序列特性的数据非常有效,它能挖掘数据中的时序信息以及语义信息。其中,序列特性包括时间顺序,逻辑顺序等其他顺序。
例如:I like eating apple ! / The Apple is a great company !
如果要给apple打Label,那么第一个apple是一种水果,第二个apple是苹果公司,如果单独看apple这个单词,是很难准确地确定它的Label的,这时候我们就需要结合上下文来确定apple的Label,于是就有了循环神经网络。

循环神经网络的结构及原理

如果不看W,只看X,U,S,V,O,这幅图展开以后就变成了
, 这就是全连接神经网络,其中X是一个向量,作为输入层,U是输入层到隐藏层的参数矩阵,S是隐藏层的向量,V是隐藏层到输出层的参数矩阵,O是输出层的向量。
那么右边的W又是什么呢,把第一幅图打开之后,是这样的:
举个例子,有一句话是,I love you,那么在利用RNN做一些事情时,比如命名实体识别,上图中的 |Xt-1| 代表的就是I这个单词的向量, |Xt|代表的是love这个单词的向量, |Xt+1| 代表的是you这个单词的向量,以此类推,我们注意到,上图展开后,W一直没有变,W其实是每个时间点之间的权重矩阵,我们注意到,RNN之所以可以解决序列问题,是因为它可以记住每一时刻的信息,每一时刻的隐藏层不仅由该时刻的输入层决定,还由上一时刻的隐藏层决定,公式如下,其中Ot代表t时刻的输出, |St| 代表t时刻的隐藏层的值:

值得注意的是,在整个训练过程中,每一时刻所用的都是同样的W。

LSTM

以上是最基础版本的RNN,我们可以看到,每一个时刻的隐藏状态都不仅由该时刻的输入决定,还取决于上一时刻的隐藏层的值,如果一个句子很长,到句子末尾时,他将记不住这个句子的开头的详细内容,而LSTM通过他的“门控装置”有效地缓解了这个问题,这也就是为什么我们现在都在使用LSTM而非普通的RNN。打个比喻吧,普通RNN就像一个乞丐,路边捡的,别人丢的,什么东西他都想要,什么东西他都不嫌弃,LSTM就像一个贵族,没有身份的东西他不要,他会精心挑选符合自己身份的物品。
由于LSTM是RNN的一种变体,是更高级的RNN,所以二者的本质是一样的:每个时刻都会把隐藏层的值存下来,到下一时刻的时候再拿出来用,这样就保证了,每一时刻含有上一时刻的信息,如图,我们把存每一时刻信息的地方叫做Memory Cell,即记忆细胞。都是,和RNN只有中间的Memory Cell不同,LSTM的Memory Cell附近多了三个门,控制信息的进出。

依次来解释一下这三个门:

  1. Input Gate:中文是输入门,在每一时刻从输入层输入的信息会首先经过输入门,输入门的开关会决定这一时刻是否会有信息输入到Memory Cell。
  2. Output Gate:中文是输出门,每一时刻是否有信息从Memory Cell输出取决于这一道门。
  3. Forget Gate:中文是遗忘门,每一时刻Memory Cell里的值都会经历一个是否被遗忘的过程,就是由该门控制的,如果打卡,那么将会把Memory Cell里的值清除,也就是遗忘掉。
    按照上图的顺序,信息在传递的顺序,是这样的:
    先经过输入门,看是否有信息输入,再判断遗忘门是否选择遗忘Memory Cell里的信息,最后再经过输出门,判断是否将这一时刻的信息进行输出。

LSTM内部结构

对于LSTM我们着重讨论其中一个时间点的内部结构

其中的 代表一个激活函数,LSTM里常用的激活函数有两个,一个是tanh,一个是sigmoid。另外,a是输出,cell是记忆细胞,Z 是最为普通的输入,Z 是通过该时刻的输入 Xt和上一时刻存在memory cell里的隐藏层信息 向量拼接,再与权重参数向量 W点积,得到的值经过激活函数tanh最终会得到一个数值,也就是 Z ,注意只有 Z 的激活函数是tanh,因为 Z是真正作为输入的,其他三个都是门控装置。

再来看 Zi ,input gate的缩写i,所以也就是输入门的门控装置, Zi 同样也是通过该时刻的输入 Xt 和上一时刻隐藏状态,也就是上一时刻存下来的信息 向量拼接,在与权重参数向量 Wi 点积(注意每个门的权重向量都不一样,这里的下标i代表input的意思,也就是输入门)。得到的值经过激活函数sigmoid的最终会得到一个0-1之间的一个数值,用来作为输入门的控制信号,另外两个门控装置都是这个原理。

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: