知识图谱5-【继续看论文《Neural Relation Extraction with Selective Attention over Instances》】

Modeling Relational Data with Graph Convolutional Networks

作者： Yankai Lin, Shiqi Shen, Zhiyuan Liu, Huanbo Luan, Maosong Sun

发表时间： 2016-06

论文链接： http://aclweb.org/anthology/P/P16/P16-1200v2.pdf

要解决的问题：

对Distant supervised relation extraction的改进！当Distant supervised relation extraction 中有错误关系时，用attention的方式，给它较小的权重

大概思路：

Distant supervised relation extraction + attention + CNN，提出了一个基于注意力机制的结合卷积神经网络的远程监督关系抽取模型！（we propose a sentence-levelattention-based convolutional neural network(CNN) for distant supervised relation extraction）

流程图：



放一张经典的attention的图对比一下：



出自：Neural Machine Translation by Jointly Learning to Align and Translate

CNN ：用于提取句子的语义信息

sentence-level attention ：用于识别错误的关系标签，给不同的训练数据不同的权重，从而降低错误实例的权重！

具体实施：

Sentence Encoder：



其中vector representation包括了word和position的向量信息，word表示该词的词向量，position表示该词到句子中两个实体的距离。文中借鉴了Relation Classification via Convolutional Deep Neural Network一文的PF方法，没有看太明白，貌似是将当前词到w1,w2的距离作为输入，映射到一个向量去，这个向量是随机初始化的。

然后对每一个词进行一次卷积操作，从而得到局部特征（local feature），模型中有一个maxpooling方法可以将一句话的所有局部特征进行池化，从而得到定长的全局特征！（这里很重要，因为这样的话就可以处理不定长的数据啦）

Selective Attention over Instances：

这里是本文的核心，也是创新点，不同于以往的远程监督，作者采用了attention的方式对所有实例进行输入，并且给予不同的权重来弱化错误实例。

对于上层的输出，增加一个attention项：



其中，



A是一个对角矩阵（随机初始化再训练的），r是关系的向量表示（远程监督的知识库中的关系），所以ei表示句子和关系的匹配程度。



其中，nr表示所有的关系，所以遍历所有关系，对每种关系里面的实例进行不同权重的表示，再通过soft Max得到当前句子的关系。



综上，这篇论文也是distant supervision，是一个利用知识库对关系分类的问题，分类的候选项存在知识库中，因此不能识别新的关系，这是一个局限性。