B站动手学深度学习第十八课:seq2seq(编码器和解码器)和注意力机制
2019-07-11 22:53
471 查看
原文链接:http://www.cnblogs.com/caiyishuai/p/11173334.html
from mxnet import nd h_forward = nd.array([1,2]) h_backward = nd.array([3,4]) h_bi = nd.concat(h_forward,h_backward,dim=0) print(h_bi)
[1. 2. 3. 4.] <NDArray 4 @cpu(0)>
不同时刻,C内h1,h2,h3所占的权重不同,权重是a。权重的求法用了softmax。e的求法和St-1和ht有关。
不同的注意力机制就是对a的设计不同。
原论文的e的取法如下图。
v,W是要学习的参数,有点像多层感知机。
转载于:https://www.cnblogs.com/caiyishuai/p/11173334.html
相关文章推荐
- 深度学习之注意力机制(Attention Mechanism)和Seq2Seq
- 吴恩达《深度学习-序列模型》3 -- 序列模型和注意力机制
- 深度学习中的注意力机制
- 关于深度学习中的注意力机制,这篇文章从实例到原理都帮你参透了
- 深度学习中的注意力机制(2017版)
- 关于深度学习中的注意力机制
- 深度学习中的注意力机制
- Attention and Memory in Deep Learning and NLP(深度学习和NLP中的注意和记忆机制) 阅读笔记
- 深度学习和自然语言处理的注意机制和记忆模型
- 深度学习Attention机制在短文本分类上的应用——qjzcy的博客
- 深度学习动手实践:用 TensorFlow 打造“会看”的机器人
- 深度学习框架的内存优化机制
- 深度学习之OCR(三)——Attention机制_hard attention
- 深度学习工作机制通俗介绍
- 深度学习基础(三)(稀疏)自编码器
- DeepLearning.ai学习笔记(五)序列模型 -- week2 序列模型和注意力机制
- 深度学习自动编码器如何有效应对维数灾难(转载)
- 深度学习笔记一:稀疏自编码器
- 深度学习之OCR(四)——Attention机制_soft attention
- 资源 | 亚马逊 AI 主任科学家李沐:动手学深度学习视频大全