循环神经网络RNN
2019-02-25 15:42
330 查看
对于图像问题可以使用CNN较好的解决，但对于文本类数据，较好的解决方式是采用RNN
例如：1、我很想去北京，2、我不想去北京；
说明：将1中的句子进行词语分开，最后的输入是北京，2也相同；对于普通网络最后的输入为北京，得到的结果是这两句话的结果相同，而实际不同；对于此类问题，我们要设计的方法是需要对之前词语的输入进行记忆，将记忆的结果送给下层，这样尽管最后的输入相同，而实际上输出的结果已经记忆了其中的不同输入，这就是我们所说的RNN
一个网络，多次循环，而不是多个网络；但存在问题（长时依赖问题）
比如：1、我住在北京，我会讲中文；其中中文是输出
2、我出生在英国，但是喜欢到处完，。。。中国。。。，但是我是一个英国人；其中英国人是输出，省略号代表中间有一些不相关的词，整个句子很长
这个时候就会出现一个问题，句子1中文与北京可以相互对应，句子很短，没有问题；而句子2中最后的英国人与前面的英国相距较远，不易学习
LSTM
- 忘记阶段
- 选择记忆阶段
- 输出阶段
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 循环神经网络（RNN）反向传播算法（BPTT）
- 序列模型汇总__循环神经网络（RNN）（一）
- 深度学习之感性理解-循环神经网络RNN
- RNN(循环神经网络)_一看就懂的解释
- TensorFlow 源码分析 -- 循环神经网络（RNN / LSTM / GRU ）
- 循环神经网络(RNN, Recurrent Neural Networks)介绍
- matlab使用layrecnet实现循环神经网络rnn。
- RNN循环神经网络中的权重更新算法-BPTT
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)
- 循环神经网络(RNN) 基础详解
- 循环神经网络RNN模型和长短时记忆系统LSTM
- 循环神经网络(Recurrent Neural Network, RNN)与LSTM
- 循环神经网络(RNN, Recurrent Neural Networks)介绍
- 机器学习思考题目——14循环神经网络（RNN）
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构区别
- 循环神经网络（RNN）
- MXNet动手学深度学习笔记：循环神经网络RNN实现
- TensorFlow人工智能引擎入门教程之九 RNN/LSTM循环神经网络长短期记忆网络使用
- RNN循环神经网络
- 简单入门循环神经网络RNN：时间序列数据的首选神经网络