ElitesAI·动手学深度学习PyTorch版学习笔记-机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer
2020-03-05 07:13
786 查看
宅家中看到Datawhale的学习号召,在大牛云集的群上找到了一个很佛系的小组,战战兢兢地开始了小白的深度学习之旅。感谢Datawhale、伯禹教育、和鲸科技,感谢课程制作者、组织者、各位助教以及其他志愿者!
1 机器翻译及相关技术
1.1 概念
机器翻译就是将一段文本从一种语言翻译为另一种语言。机器翻译的输出是单词序列,输出序列和输入序列的长度可能不同。
1.2 预处理
首先要对输入文本进行清洗。首先删去超出编码格式的数据(非字符数据),然后对字符串组成的单词按照句子组成规律进行分词(python有许多成熟的分词模块可以直接使用),并对分词后的单词建立词典,再转化为适合神经网络输入的小批量格式(Encoder)。
1.3 翻译
然后载入翻译数据集,分别与输入数据的词典进行比较,再将其翻译为输出数据的词典(Decoder),然后按照输入数据的单词顺序进行排列(可能按照翻译的一些规则进行调整,不一定与输入数据完全一致),形成翻译后的输出序列。
Beam Search没有完全看懂。贪心算法有些模糊了解,这个参数是翻译数据集内置的吗?维特比算法不懂。
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- 动手学深度学习PyTorch-机器翻译及相关技术、注意力机制与Seq2seq模型、Transformer
- 动手学深度学习-机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer
- 动手学深度学习 Task04 机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer
- ElitesAI·动手学深度学习PyTorch版学习笔记-文本分类;数据增强;模型微调
- B站动手学深度学习第十八课:seq2seq(编码器和解码器)和注意力机制
- MXNet动手学深度学习笔记:模型参数保存与读取
- 吴恩达《深度学习-序列模型》3 -- 序列模型和注意力机制
- 《动手学深度学习》组队学习打卡Task4——注意力机制与Seq2seq模型
- 深度学习之注意力机制(Attention Mechanism)和Seq2Seq
- 学习笔记(05):深度学习之图像识别 核心技术与案例实战-图像分割模型
- GAN︱生成模型学习笔记(运行机制、NLP结合难点、应用案例、相关Paper)
- 王小草【深度学习】笔记第七弹--RNN与应用案例:注意力模型与机器翻译
- GAN︱生成模型学习笔记(运行机制、NLP结合难点、应用案例、相关Paper)
- DeepLearning.ai学习笔记(五)序列模型 -- week2 序列模型和注意力机制
- GAN︱生成模型学习笔记(运行机制、NLP结合难点、应用案例、相关Paper)
- 七月算法深度学习 第三期 学习笔记-第八节 循环神经网络与相关应用
- Attention and Memory in Deep Learning and NLP(深度学习和NLP中的注意和记忆机制) 阅读笔记
- 深度学习Caffe实战笔记(8)模型参数详解(补充)
- 探究神经机器翻译中的注意力机制:指哪儿打哪儿,还是指哪儿打一片?
- Java EE学习笔记之一——JSP/Servlet相关技术