Convolutional Sequence to Sequence Learning笔记

摘要：序列到序列学习的流形方法映射输入序列到一个变长输出序列通过循环神经网络。我们引入一个完全依赖于卷积神经网络的架构。和循环模型相比，所有元素计算可以并行化更好利用GPU并且当非线性的两固定并不依赖于输入长度时更容易优化。

简介：

和循环层相比，卷积层对固定大小内容产生表达，网络可以用过用堆积层来扩大有效的内容大小。这允许去更精确地控制依赖的最大长度。卷积网络不依赖于之前时间步的计算因此允许在序列中每个元素的并行化。和RNN对比，维持一个完整过去的隐藏状态其防止使用序列的并行计算。

多层卷积网络创造了层次表达在输入序列上，近的输入元素和更低层交互，远的元素和更高的层交互。层次结构提供了一个更短的路径去捕获远程依赖，和训练网络建立的链式结构相比。我们可以得到特征表达其不活了一个n个词的床空的关系通过应用O（n/k）的卷积操作对于核宽度k，而循环网络需要O(N). 输入