伯禹ElitesAI·动手学深度学习PyTorch版——task02
2020-03-05 19:14
239 查看
一、分词工具
- spacy
- nltk
二、时序数据的采样
1.随机采样
随机采样是根据时间步长划分出若干子序列即样本,每个子序列长度为时间步长,batch_size决定了抽取几个样本,也就是抽取batch_size个子序列,最终得出的采样结果是batch_size*num_steps的矩阵。注意X出现次数不是batch_size,并且每个样本最多出现一次
2.相邻采样
相邻采样是根据batch_size等分序列得到batch_size个子序列,然后将子序列堆叠到一块,各子序列按照时间步长取整划分若干子子序列,由于子子序列是堆叠到一起的,类似于一个桶,也就是得到了若干个桶,每个桶就是一个样本结果,即batch_size*num_steps的矩阵
三、rnn流程
1.定义损失函数
2.定义优化函数
3.定义迭代次数,对接下来命令进行迭代循环
4.定义采样方法
5.在抽出样本后分离隐藏状态,减少计算开销
6.定义rnn模型,并带入样本进行计算输出
7.计算损失函数值
8.梯度清零,方向传播进行计算参数
9.梯度剪裁
10.优化函数进行优化,更新参数
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- 伯禹ElitesAI·动手学深度学习PyTorch版——task03
- ElitesAI·动手学深度学习PyTorch版
- ElitesAI·动手学深度学习PyTorch版(第四次打卡Task10)
- ElitesAI·动手学深度学习PyTorch版学习笔记-文本分类;数据增强;模型微调
- ElitesAI·动手学深度学习PyTorch版(第四次打卡Task09)
- ElitesAI·动手学深度学习PyTorch版(第四次打卡Task06)
- ElitesAI·动手学深度学习PyTorch版(第二次打卡)
- ElitesAI·动手学深度学习PyTorch版学习笔记-机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer
- ElitesAI·动手学深度学习PyTorch版笔记(一)
- ElitesAI·动手学深度学习PyTorch版学习笔记-卷积神经网络基础;leNet;卷积神经网络进阶
- ElitesAI·动手学深度学习PyTorch版学习笔记-过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶
- ElitesAI·动手学深度学习PyTorch版学习笔记-文本预处理;语言模型;循环神经网络基础
- ElitesAI·动手学深度学习PyTorch版学习笔记-线性回归;Softmax与分类模型、多层感知机
- ElitesAI·动手学深度学习PyTorch版第三次打卡
- ElitesAI·动手学深度学习PyTorch版TASK3、4、5
- 动手学深度学习PyTorch版学习笔记(2)
- 动手学深度学习PyTorch版学习笔记(1)
- 动手学深度学习PyTorch版-GoogLeNet代码(PyTorch实现)
- 动手学深度学习 Task02:文本预处理;语言模型;循环神经网络基础
- 动手学深度学习PyTorch版-线性回归代码(PyTorch实现)