Generating wikipedia by summarizing long sequences笔记

Generating wikipedia by summarizing long sequences

we introduce a decoder-only architecture that can scalably attend to very long sequences

一、任务定义

我们将英文维基百科视为一个多文档摘要的监督机器学习任务

• input :维基百科主题(文章标题)、非维基百科参考文档集合组成
• output：维基百科文章文本

二、相关工作

input output

作者的最大，说明作者可以输入很多句子，生成很多的句子

所以输入长的短的语料都行， 说明适应性最好？

ROUGE-1 recall score

评价的是重复性？？

有的摘要是wiki-clone,即从输入里面直接复制句子。

作者的不是这样，是有转述的。

三、语料库

来源有2：

• 维基百科文章引用的那些链接。
• 使用文章部分标题作为查询，从谷歌搜索引擎抓取搜索结果。对于每个查询，我们收集10个结果页面。

四、方法与模型

第一阶段 EXTRACTIVE STAGE

我们首先使用提取摘要粗选输入的一个子集

第二阶段 ABSTRACTIVE STAGE

包括训练一个生成维基百科文本的抽象模型，同时对这种提取进行条件设置。

这个过程是受人类写摘要时的动作的启发

因为人类的总结方式就是:先把重点内容划线，再根据自己的规则总结

模型

LSTM+Attention

Decoder:Transformer+多层attention机制(LMLML)

五、实验结果

在生成维基百科引语的实验中，我们主要从四个方面进行改变:

1.提取方法:SumBasic, TextRank, tf-idf, identity, cheating extractor

2.输入语料库:引文、搜索结果、组合

3.抽象模型输入长度，L:我们尝试100到11000之间的值

4.抽象模型架构:seq2seq-att, T-ED, T-D, T-DMCA

结果：

• 一般用tf-idf提取
• 组合的语料最好

• seq2seq-attention作为基准在这个任务上比Transformer架构做得很差
• L增大，T-ED结构的性能一直在提高，直到L = 500 - 1000的最佳值，而在L = 2000时无法学习。
• 会出现自动翻译现象

比较：模板的方式

ROUGE-1应该模板会表现的更好，因为模板不会在input里面出现，摘要的话，只需要从input里面选一些词填入模板形成output，所以output不会与input重合很多，而本文的方法会从input里面挑成段的文本来摘，所以会重复。

疑惑

EXTRACTIVE STAGE的cheating方案是什么

作者是如何与2009年的那篇论文比较的，感觉有点含糊

输入的特殊字符是如何处理的(Figure 4 举的例子里有&符号)

答：embedding

为啥作者16GB的 GPU设备可以训练L = 11000这么大的模型

答：这个设备淘宝4w，应该还挺厉害的

Transformer以及几种attention机制

答：有说法是,Transformer是可以完全替代RNN的