翻译陈丹琦的博士论文《NEURAL READING COMPREHENSION AND BEYOND》（一）

神经阅读理解和展望——陈丹琦

摘要
教机器理解人类语言文档是人工智能中最难以捉摸和长期存在的挑战之一。本文探讨了阅读理解的问题：如何建立计算机系统来阅读一段文本并回答理解问题。一方面，我们认为阅读理解是评价计算机系统更好的理解人类语言的一个重要的任务，如果我们能够建立高水平阅读理解系统，那么这将是问答系统和对话系统等应用的一项关键技术。
我们在本论文中关注的神经阅读理解是建立在深度神经网络上的一类阅读理解模型。相比传统的稀疏的、手工设计的基于特征的模型，这种端到端的模型已被证明在学习丰富的语言学现象中有着更好的性能并且显著提高了所有现代阅读理解模型的基准表现。
这篇文章由两部分组成。在第一部分中，我们的目标主要是阐述神经阅读理解的本质和展示我们在搭建有效的神经阅读理解模型的成果，更重要的是，理解神经阅读理解模型真正在学习什么，以及解决当前的任务需要多深的语言理解。我们还总结了这个领域目前的最新进展，探讨了未来的发展方向以及开放性问题。
本文的第二部分，我们研究了如何在目前比较成功的神经阅读理解的基础上建立实际的应用。特别是我们开创的两个研究方向包括：1）如何结合信息挖掘技术和神经阅读理解去处理大规模的开放领域问答系统；2）如何从目前单轮的、基于跨距的阅读理解模型建立我们的对话问答系统。我们在DRQA和CoQA项目中实现了这些想法，并且证明了该方法的有效性。我们相信它们对未来的语言技术有很大的希望。

目录

1. 介绍
   1.1 动机
   1.2 论文概述
   1.3 贡献

I 神经阅读理解：基石

1. 阅读理解综述
   2.1 历史
   2.1.1 早期的系统
   2.1.2 机器学习方法
   2.1.3 复兴：深度学习时代
   2.2 任务定义
   2.2.1 问题的形成
   2.2.2 评价
   2.3 阅读理解和问答系统
   2.4 数据集和模型
2. 神经阅读理解模型
   3.1 过去的方法：基于特征模型
   3.2 神经方法：The Stanford Attentive Reader
   3.2.1 前期准备
   3.2.2 模型
   3.2.3 延伸
   3.3 实验
   3.3.1 数据集
   3.3.2 实施细节
   3.3.3 实验结果
   3.3.4 分析：模型学到了什么？
   3.4 进一步的进展
   3.4.1 词表示
   3.4.2 注意力机制
   3.4.3 LSTM的替代方案
   3.4.4 其他
   3.4.5 总结
3. 阅读理解前景
   4.1 SQUAD 解决了吗？
   4.2 未来的工作：数据集
   4.3 未来的工作：模型
   4.3.1 需求
   4.3.2 框架和模块
   4.4 研究问题
   4.4.1 如何衡量进步
   4.4.2 表示与架构：哪个更重要？

II 神经阅读理解：应用

1. 开放域问答系统
   5.1 开放域问答系统的短暂历史
   5.2 我们的系统： DRQA
   5.2.1 概述
   5.2.2 文本抽取
   5.2.3 文本阅读
   5.2.4 距离监督
   5.3 评估
   5.3.1 问答系统数据集
   5.3.2 实施细节
   5.3.3 文本抽取表现
   5.3.4 最终结果
   5.4 未来的工作
2. 对话问答系统
   6.1 相关工作
   6.2 COQA:一个对话问答系统挑战
   6.2.1 任务定义
   6.2.2 数据集收集
   6.2.3 数据集分析
   6.3 模型
   6.3.1 对话模型
   6.3.2 阅读理解模型
   6.3.3 一种混合模型
   6.4 实验
   6.4.1 设置
   6.4.2 实验结果
   6.4.3 错误分析
   6.5 讨论
3. 总结