Lstm基础学习
2020-07-14 06:30
330 查看
lstm原理
lstm
长短期记忆网络,是一种时间递归神经网络(是一种改进之后的循环神经网络),适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。在原始RNN基础之上增加状态保存,来保存长期的状态。
输入
在某一时刻,每一个“细胞”又三个输入值:当前时刻网络的输入值,上一时刻的输出值,以及上一时刻单元状态。
输出
在某一时刻,lstm有两个输出值:当前时刻的输出值和当前时刻的状态,作为下一时刻的输入值。
遗忘门
决定了上一时刻的单元状态有多少保留到当前时刻
a< t-1>:t-1时刻的输出
x< t >:t时刻本层的输入
wf:变量的权重
bf:偏执项
Ff:介于0-1,1:完全保留,0:完全舍弃
输入门
决定了当前时刻网络的输入有多少保存到单元状态
tanh双曲正切激励函数和Fu共同决定什么样的新信存入状态中
最终通过遗忘门遗忘部分旧信息
确定什么样的信息放入状态中
输出门
控制单元状态有多少输出到 LSTM 的当前输出值
(引用图片说明)
门机制是让信息选择式通过的方法,通过sigmoid函数和点乘操作实现。sigmoid取值介于0~1之间,点乘则决定了传送的信息量(每个部分有多少量可以通过),当sigmoid取0时表示舍弃信息,取1时表示完全传输(即完全记住)。
相关文章推荐
- 零基础入门深度学习(6) - 长短时记忆网络(LSTM)
- 零基础入门深度学习(6) - 长短时记忆网络(LSTM)
- 深度学习基础之LSTM
- 零基础入门深度学习(6) - 长短时记忆网络(LSTM)
- RNN、LSTM基础内容学习链接
- 深度学习基础:RNN与LSTM
- 深度学习基础之LSTM
- 零基础入门深度学习(6) - 长短时记忆网络(LSTM)
- 零基础入门深度学习(6) - 长短时记忆网络(LSTM)
- 深度学习基础(六):LSTM模型及原理介绍
- 零基础入门深度学习(6) - 长短时记忆网络(LSTM)
- 异常处理:你不可能总是对的 - 零基础入门学习Python032
- Silverlight 2 的基础XAML语法学习
- Oracle11g基础学习---------(1)基础入门
- Unity学习系类笔记5:多人游戏基础
- Swift4 学习笔记——基础篇
- 学习笔记:操作系统内核基础知识
- canvas基础学习
- 网络编程2--毕向东java基础教程视频学习笔记
- 学习redis基础命令网站