Neural Turing Machines 论文翻译

3 神经图灵机

一个神经图灵机 (NTM) 包括两个基本的组件：一个神经网络控制器，一个内存块。（high-level如下图所示）



像大多数的神经网络一样，控制器和外部的输入输出向量交互，不同的是，控制器也和一个内存矩阵做读写操作。为了类比普通图灵机，我们将这些操作的神经网络输出称为“读写头”。

最重要的是，神经图灵机的每个组件都是可微分的，也就可以通过梯度下降来训练，

我们定义“模糊”读写的概念，也就是说，读写操作交互所有内存单元，而不是像普通图灵机一样仅仅定位一个内存单元。“模糊”程度是有注意力机制的，会主要读写一个部分的内存 而忽略其他部分的内存。

3-1 控制器从内存读

令M_t代表时刻t的N×M内存矩阵。（N是行数 也叫 地址数，M是每行的内存单位数）

令w_t为时刻t 读写头在N个地址的读写 的比重

令M_t 表示每行的向量 ，时刻t读取到的值R_t，可以定义为

3-1 控制器往内存写

受LSTM中的forget gate和input gate的启发，我们将写操作拆分成两个部分：先擦除(erase)在添加(add)。

3-3 寻址机制