基于交叉注意力机制的知识图谱问答模型
2020-04-28 18:30
676 查看
An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global Knowledge
概述
本文提出一种端到端的模型来对问题进行表示,具体的根据候选答案的不同方面,利用交叉注意力机制,对
问题进行表示和计算最后问题与答案的匹配程度,同时论文通过TransE模型和交叉注意力机制模型联合训练,
融入知识图谱全局信息,减轻OOV(out-of-vocabulary)带来的坏影响。
下图是论文的总体流程架构
主题实体的获取(topic entity)
论文通过调用
Freebase API,获得问句中的主题实体
例如:
- 问句:Who is the president of France?
- 主题实体:France
候选答案集的获取(candidate set)
作者简单粗暴,与主题实体距离2跳以内的实体都归为候选答案集。
交叉注意力机制
交叉注意力机制的总体流程图如下
-
问题的嵌入
论文中词嵌入的方法是通过索引随机初始化的词向量表(可训练的参数),问句中的词经过嵌入后
得到一个个词向量,之后将得到的词向量输入到双向LSTM中,得到最后每个词的隐状态向量(hidden state)
-
答案各个方面的嵌入
文中对答案一共考虑了四个方面,分别是
answer entity
、answer relation
、answer type
和answer context
.嵌入方法类似于问题的嵌入,但是唯一需要注意的地方是answer context
包含不止一个词语,所以对其包含的词语取平均即可。 -
答案对问题的注意力机制
作者认为不同的答案方面会对聚焦于问题中不同的词。具体的公式可以参照原文。
-
问题对答案的注意力机制
直觉上,不同的问题会聚焦于答案的不同方面。具体的公式参照原文。
融入全局信息
作者的思路可以用一句话来概括:TransE模型和本文模型联合训练,主要在于提升词嵌入效果。
论文地址
zycxnanwang 原创文章 210获赞 901访问量 18万+ 关注 私信相关文章推荐
- 论文浅尝 | 基于常识知识图谱感知和图注意力机制的对话生成
- 基于知识图谱的电影自动问答系统(二)自动问答实现
- 基于知识图谱的电影自动问答系统(一)知识的获取与存储
- 基于知识图谱的问答系统(下)
- 基于知识图谱的电影自动问答系统(二)自动问答实现
- 基于电影知识图谱的智能问答系统
- 基于医疗知识图谱的问答系统源码详解
- 基于知识图谱的问答系统(一)
- PaperWeekly 第32期 | 基于知识图谱的问答系统关键技术研究 #01
- 基于知识图谱的问答系统(二): 语义解析
- 基于知识图谱的电影自动问答系统(一)知识的获取与存储
- 基于知识图谱的问答系统(三): 信息抽取
- AAAI 2018论文解读 | 基于文档级问答任务的新注意力模型
- 基于知识图谱的问答系统(四):向量建模篇
- 怎么利用知识图谱构建智能问答系统?
- 详解Linux2.6内核中基于platform机制的驱动模型
- 直播预告 | 东南大学周张泉:基于知识图谱的推理技术
- TensorFlow文本摘要生成 - 基于注意力的序列到序列模型
- 《序列模型》之序列模型和注意力机制
- 基于自注意力机制的下一项推荐