论文笔记:Recurrent Models of Visual Attention
2017-03-02 18:27
1346 查看
Recurrent Models of Visual Attention
戳这里下载训练代码,戳这里下载测试代码 【基于torch】摘要
由于卷积核的计算量跟图片像素个数大小呈线性关系,卷积神经网络对大型的图片的处理计算量巨大。我们提出一个RNN模型,能够从一张图片或者一段视频中提取信息,通过主观选择一系列区域或者位置,只对选中的区域在高分辨率情况下进行处理。本文提出的方法,据有内部平移不变性,但是计算量能够根据输入图片的大小独立控制。由于这个模型不可微分,他能够使用强化学习方法来学习特定的策略。我们在几个分类任务上评估了这个模型,结果显示,他能够比卷积神经网络的基准表现要好很多,并且在动态问题上,他能够跟踪一个简单的物体,并不需要一个明确的训练信号告诉它来做这件事情。简介
此RNN模型能够顺序处理输入,在一个时刻根据一张图片内部的不同位置,把这些定位下的信息结合起来生成这个场景的动态内部表示。在每一步,该模型选择下一个位置,基于过去的信息和任务的需求。我们描述了一个端到端的优化方法,允许模型直接被训练根据给定的任务。这个过程使用BP来训练网络节点,还有一些梯度策略来解决控制过程中产生的不可微分问题。模型(The Recurrent Attention Model)RAM
序列决策过程。在每个时间节点,agent通过指定宽度sensor来观察环境,它并不一次性观察整个环境,他可能提取信息仅仅通过部分区域或者一个窄频率宽度。agent能够自行决定在哪里放置sensor。agent也能狗影响环境的真实状态。在每一步,agent会收到一个梯度奖励(取决于agent执行的actions),agent的目的是最大化rewards的总数。在每一步,模型处理sensor获取的数据,整合这些信息,然后选择action,以及如何放置sensor在下一步的时候。
Sensor
sensor可以观察环境,就是在location的周围信息,通过sensor位置的不同,可以观察到不同location的信息。并总结,传到后面用。
Internal State
h代表内部状态,对agent获得的信息进行编码。然后通过f方程决定下一步sensor的位置,以及本步骤结束后应该采取的action,这个action可以是分类。
Actions
分类两类,决定如何放置sensor,还有环境action可能影响环境的状态。对于分类任务而言,a 可以是softmax输出。
Reward
每次执行完一个action之后,agent会收到下一个location的信号,以及一个reward信号,agent的目的是最大化reward信号,这个通常是稀疏的并且会延迟。拿物体识别来说,如果物体在T步之后被分类正确,那么reward是1,否则是0.
上述过程被记为马尔可夫决策过程,真实的环境状态是不可知的,在此情况下,agent需要学习一个随机的政策,。在这里agent的police pi 用上述的RNN过程来定义
Glimpse Network
上面提到的方程的参数都需要通过最大化reward来学习。
上图中的,citag0和citag1各128维,相加产生glimpse network 的输出256维,然后用ReLU .
Location Network
location l 通过两个高斯模型来定义,具有相同的方差
Core Network
分类实验使用LSTM units
图像分类
attention network 只在最后一步t=N时做分类决策。 fa是一个简单的线性分类器fa(h)=exp(Linear(h))/Z ,Z是正则化常量,RNN state向量h,是256维。所有的方法均使用minibatch:20,momentum:0.9的随机梯度下降法。超参数,像初始化的学习率还有位置策略方差使用随机搜索选择,如果分类正确, 最后一步的奖励为1 ,否则为0。在期间,所有的reward都为0,只有最后 不分类正确才会给1.Reference
1. Mnih, Volodymyr, et al. “Recurrent Models of Visual Attention.” 3(2014):2204-2212.
2. http://blog.csdn.net/shenxiaolu1984/article/details/51582185
EMMA
SIAT
2017.03.09
相关文章推荐
- 论文笔记之: Recurrent Models of Visual Attention
- tensorflow 学习笔记: recurrent models of visual attention
- RAM: Recurrent Models of Visual Attention 学习笔记
- 论文笔记:A Model of Saliency-Based Visual Attention for Rapid Scene Analysis
- [论文笔记] The Impact of Service Pricing Models on Service Selection (ICIW, 2009)
- [深度学习论文笔记][Attention]Show, Attend, and Tell: Neural Image Caption Generation with Visual Attention
- 论文笔记:LSTM, GRU, Highway and a Bit of Attention: An Empirical Overview for Language Modeling in Speec
- 论文笔记-An Analysis of Deep Neural Network Models for Practical Applications
- 论文笔记之: Bilinear CNN Models for Fine-grained Visual Recognition
- 论文笔记: Hierarchical Question-Image Co-Attention for Visual Question Answering
- 论文笔记:Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering
- 论文笔记之:Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking
- 阅读图像显著性检测论文一:A Model of Saliency-Based Visual Attention for Rapid Scene Analysis
- deeplearning论文学习笔记(2)A critical review of recurrent neural networks for sequence learning
- 图像显著性论文(一)—A Model of saliency Based Visual Attention for Rapid Scene Analysis
- 论文笔记之:Deep Attention Recurrent Q-Network
- [深度学习论文笔记][Video Classification] Long-term Recurrent Convolutional Networks for Visual Recognition a
- 论文笔记:Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning
- Visual Attention Based on Long-Short Term Memory Model for Image Caption Generation 论文笔记
- 论文笔记:Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling