#Paper Reading# A Neural Attention Model for Abstractive Sentence Summarization

论文题目：A Neural Attention Model for Abstractive Sentence Summarization

论文地址：https://arxiv.org/abs/1509.00685

论文发表于：EMNLP 2015(CCF B类)

论文大体内容：

本文提出了一种data-driven的方法来做句子摘要，使用了一种基于局部注意力模型（local attention-based model），在给定输入句子的情况下，生成摘要的每个词。本文提出的模型结构简单，可以套用流行的end2end框架来训练，并且很容易扩展到大型训练数据集上。模型在DUC2004任务中效果优于几个不错的baselines。

1、本文关注点在于单个句子，进行abstractive式摘要；

2、输入X: X(1), X(2), …, X(M), 长度为M；

输出Y: Y(1), Y(2), …, Y(N), 长度为N, N大小固定；

词典V；

目标函数s(x, y)；



3、3种摘要方式的区别：

①Abstractive

②Extractive

③Sentence compression



4、ABS（Attention-Based Summarization）的具体做法是：

①维度：

F: H*V, X^: H*M,

E: D*V, Y^: CD*1,

U: H*CD, h: H*1, V: V*H

W: V*H, enc(x,y): H*1,

output: V*1（下一个词的选择）

②目标是通过y(c)预测后一个词语y(i+1)；

③先对x与y(c)进行encode成H*1的向量；

④将y(c)embedding，U乘，经过非线性变换，得到h(H*1)向量；

⑤继续非线性变换，得到V*1的向量，代表下一个词的概率；





5、Encode的三种方式：

①enc1：Bag-of-Words Encoder



②enc2：Convolutional Encoder

CNN通过结合word embedding将句子表示成一个matrix，通过不同尺寸的卷积核来filter出句子中的feature。



③enc3：Attention-Based Encoder







6、Decoder

decoder的本质就是一个神经网络语言模型，本文用了2003年Bengio提出的NNLM。NNLM的模型是一个FNN（Feed-Forward Neural Network），通过上文（当前词的前N个词）来预测当前词，待求的参数是：

①word embedding矩阵E；

②输入层到隐藏层的权重矩阵U；

③隐藏层到decoder输出层的权重矩阵V；

④encoder输出层到decoder输出层的权重矩阵W；





7、ABS+

作者在ABS的基础上，增加了一些统计的feature，形成ABS+；



8、Generating Summaries

在测试集中，本文使用Beam Search的方法进行生成摘要，时间复杂度为O(KNV)；

Beam Search（集束搜索）[2]使用广度优先策略建立搜索树，在树的每一层，按照启发代价对节点进行排序，然后仅留下预先确定的个数（Beam Width-集束宽度）的节点，仅这些节点在下一层次继续扩展，其他节点就被剪掉了。如果集束宽度无穷大，那该搜索就是宽度优先搜索。

①将初始节点插入到list中；

②将给节点出堆，如果该节点是目标节点，则算法结束；

③否则扩展该节点，取集束宽度的节点入堆。然后到第二步继续循环；

④算法结束的条件是找到最优解或者堆为空；



实验

9、Dataset

经过处理的约400万Gigaword数据集[3]作为训练集和验证集，在DUC2004数据集上进行评测；

10、评测方法

①ROUGE-1；

②ROUGE-2；

③ROUGE-L；

11、Baseline

①PREFIX：这个baseline是取输入的前75个字符作为headline；

②TOPIARY；

③COMPRESS；

④IR；

⑤W&L；

⑥MOSES+；

12、对比结果



13、不同Encoder对比



14、Generating Summaries方式对比



参考资料：

[1]、https://zhuanlan.zhihu.com/p/21388469

[2]、http://www.cnblogs.com/xxey/p/4277181.html

[3]、https://catalog.ldc.upenn.edu/LDC2012T21

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！