论文笔记之:Hybrid computing using a neural network with dynamic external memory
2016-10-14 13:15
666 查看
Hybrid computing using a neural network with dynamic external memory
Nature 2016
原文链接:http://www.nature.com/nature/journal/vaop/ncurrent/pdf/nature20101.pdf
摘要:人工智能神经网络 在感知处理,序列学习,强化学习领域得到了非常大的成功,但是限制于其表示变量和数据结构的能力,长时间存储知识的能力,因为其缺少一个额外的记忆单元。此处,我们引入一个机器学习模型,称为:a differentiable neural computer (DNC),包含一个 神经网络,可以读取和写入一个额外的记忆矩阵;类似于计算机当中的 random-access memory。像传统的计算机一样,可以利用其 memory 表示和执行一个复杂的数据结构,但是,像神经网络一样,也可以从数据中进行学习。当进行监督学习的时候,我们表明 一个 DNC 能够成功的回答模拟的问题,在自然语言中进行推理和论证问题。我们表明,他可以学习到类似 给定特定点的最短距离 和 推理在随机产生的图中丢失的连接,然后推广到特定的 graph,例如:交通运输网络 和 家谱树结构。当进行强化学习的时候,一个 DNC 可以完成移动 block 的难题。总的来说,我们的结果表明,DNCs 能够解决复杂的,结构化的任务,但是这些任务假如没有 external read-write memory,那么根本无法完成的任务。
引言:
Nature 2016
原文链接:http://www.nature.com/nature/journal/vaop/ncurrent/pdf/nature20101.pdf
摘要:人工智能神经网络 在感知处理,序列学习,强化学习领域得到了非常大的成功,但是限制于其表示变量和数据结构的能力,长时间存储知识的能力,因为其缺少一个额外的记忆单元。此处,我们引入一个机器学习模型,称为:a differentiable neural computer (DNC),包含一个 神经网络,可以读取和写入一个额外的记忆矩阵;类似于计算机当中的 random-access memory。像传统的计算机一样,可以利用其 memory 表示和执行一个复杂的数据结构,但是,像神经网络一样,也可以从数据中进行学习。当进行监督学习的时候,我们表明 一个 DNC 能够成功的回答模拟的问题,在自然语言中进行推理和论证问题。我们表明,他可以学习到类似 给定特定点的最短距离 和 推理在随机产生的图中丢失的连接,然后推广到特定的 graph,例如:交通运输网络 和 家谱树结构。当进行强化学习的时候,一个 DNC 可以完成移动 block 的难题。总的来说,我们的结果表明,DNCs 能够解决复杂的,结构化的任务,但是这些任务假如没有 external read-write memory,那么根本无法完成的任务。
引言:
相关文章推荐
- Hybrid computing using a neural network with dynamic external memory(可微神经计算机)阅读
- 基于神经网络的混合计算(DNC)-Hybrid computing using a NN with dynamic external memory
- [论文笔记]TextBoxes A Fast Text Detector with a Single Deep Neural Network
- Image Question Answering using Convolutional Neural Network with Dynamic Parameter Prediction
- 【论文笔记】Recover Canonical-View Faces in the Wild with Deep Neural Network
- 论文笔记:TextBoxes: A Fast Text Detector with a Single Deep Neural Network
- 深度学习论文笔记--Recover Canonical-View Faces in the Wild with Deep Neural Network
- 论文阅读笔记(一)——Deep Convolutional Neural Network with Independent
- 【论文笔记】Image Classification with Deep Convolutional Neural Network
- 论文笔记:Person Re-identification with Deep Similarity-Guided Graph Neural Network
- 论文笔记:TextBoxes: A Fast Text Detector with a Single Deep Neural Network
- ASPLOS'17论文导读——SC-DCNN: Highly-Scalable Deep Convolutional Neural Network using Stochastic Computing
- ASPLOS'17论文导读——SC-DCNN: Highly-Scalable Deep Convolutional Neural Network using Stochastic Computing
- [深度学习论文笔记][Image Classification] ImageNet Classification with Deep Convolutional Neural Networks
- 论文笔记--N4-Fields: Neural Network Nearest Neighbor Fields for Image Transforms
- DeepLearning论文笔记(二):Understanding Deep Architectures using a Recursive Convolutional Network
- 论文笔记 UberNet : Training a ‘Universal’ Convolutional Neural Network
- 论文《A Convolutional Neural Network Cascade for Face Detection》笔记
- 【论文笔记】residual neural network-kaiming he
- Image Question Answering using Convolutional Neural Networ with Dynamic Parameter Prediction