文章解析整理：《入门必看：万字长文带你轻松了解LSTM全貌》

本文仅是博主自己学习用来加深印象和留存整理，对该内容有兴趣请去阅读原文。

原文地址：

https://mp.weixin.qq.com/s?__biz=MzI0ODcxODk5OA==&mid=2247485872&idx=1&sn=e8bfaa044116dd278faef5617e04f122

神经网络

单图像分类器的深度神经网络：

先检测低级图形，形状或棱边

更复杂的特征，人脸或猫

更具细节的特征，活动或动作

利用RNN记忆信息

递归神经网络（RNN）：对当前情形的判断不止与现在的输入有关还和以前的状态有关，如之前有一副超市的画面，现在一个人手拿培根，那他更可能是在购物而不是做饭。

递归神经网络就是把中间隐含层当作记忆。

利用LSTM实现更长久的记忆

RNN改写记忆的方式是无序的，更新过程十分混乱，很容易造成错误的认识。

LSTM通过以下方式实现长久的精确的记忆：

1. 添加遗忘机制。判断不相关的不记

2. 添加保存机制。有价值的保存到长期记忆中

3. 将长期记忆聚焦为工作记忆。判断长期记忆中立刻发挥作用的用于工作

模型对比

神经网络



RNN



LSTM

LSTM的数学表达

在新时间t，会收到一个新的输入xt，此时还需将长期记忆和工作记忆更新。

通过对输入xt的计算可以学习到信息，作为长期记忆的候选记忆。通过激活函数对候选记忆进行处理判断，0和1之间，最终忘记不需要的并保存有用的，即得到更新后的长期记忆。

工作记忆的更新：关注向量为1（一个公式判定后为1）的则立刻发挥作用。

总结来说，普通的RNN只是利用一个方程式来更新它的隐状态/记忆，而LSTM则是利用数个方程组

学习如何编码

……

额，后面的就暂时看不懂了。。。暂时先去学习下别的基础的再回来重新看一下。。。