LSTM长短记，长序依赖可追忆（深度学习入门系列之十四）

点击查看全文

 如果你是一名单身狗，不要伤心，或许是因为你的记忆太好了。有时，遗忘是件好事，它让你对琐碎之事不再斤斤计较。然而每当自己记不住单词而“问候亲人”时，也确实气死个人。于是你懂得了如何控制好什么信息该保留，什么信息该遗忘。而长短期记忆网络（LSTM）就是这么干的。来看看是怎么回事吧？

【版权声明】转载请注明出处和作者署名。否则作者和云栖社区有权追究责任。

系列文章
一入侯门“深”似海，深度学习深几许（入门系列之一）
人工“碳”索意犹尽，智能“硅”来未可知（深度学习入门系列之二）
神经网络不胜语， M-P模型似可寻（深度学习入门系列之三）
“机器学习”三重门，“中庸之道”趋若人（深度学习入门系列之四）
Hello World感知机，懂你我心才安息(深度学习入门系列之五)
损失函数减肥用，神经网络调权重（深度学习入门系列之六）
山重水复疑无路，最快下降问梯度（深度学习入门系列之七）
BP算法双向传，链式求导最缠绵（深度学习入门系列之八）
全面连接困何处，卷积网络见解深（深度学习入门系列之九）
卷地风来忽吹散，积得飘零美如画（深度学习入门系列之十）
局部连接来减参，权值共享肩并肩（深度学习入门系列之十一）
激活引入非线性，池化预防过拟合（深度学习入门系列之十二）
循环递归RNN，序列建模套路深（深度学习入门系列之十三）

14.1 遗忘是件好事还是坏事？

如果我问你，遗忘，是件好事，还是坏事？

或许你会说，当然是件坏事啊，我可羡慕记忆力好的人了。

可我要告诉你，如果你到现在还记得，两岁时，隔壁家的小女孩“横刀夺爱”，抢了你的棒棒糖，估计你现在还可能单身。如此“记”仇的人，不孤独也难啊？

的确，有时候，遗忘是好事，它会让大脑清理无用“内存”，让你能得以重新起航。其实从脑科学的角度来看，记忆是一种生物运算，它需要消耗能量的。从进化论的角度来看，如果大脑一直长时间运算着用不着的“子程序”，是极不经济的。在物资并不丰裕的远古时代，这样的生物，会被“物竞天择”掉的！因此，遗忘，在某种程度上，是生物的一种自我保护机制。

那遗忘，是件好事咯？或许你会问。

如果是好事，为什么当年背几个英文单词，都要绞尽脑汁，家人还不得不都无辜地“光荣”一大半：Bus(爸死)、Yes(爷死)、Nice（奶死），都Cheese（气死）。

嗯，是的。过犹都不及。我们既需要记忆，也需要遗忘。我们既需要短期记忆(short-term memory)，必要时，还要将这些短记忆拉长（long short-term memory），留存下来，以备后用。

聪慧如你，一定猜到了。我要引入本章的主题：长短期记忆(Long Short-Term Memory，简称LSTM)。这个名字有点怪，难道是又长又短的记忆？当然不是，请注意“Short-term”中间有一个短横线“-”连接。这表明，在本质上，LSTM还是短期记忆(short-term memory)，只是它历经的时序较长而已。

14.2 施密德胡伯是何人？

点击查看全文