论文笔记之:Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking
2016-08-16 00:22
706 查看
Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking
arXiv Paper
Project Page:http://guanghan.info/projects/ROLO/
GitHub:https://github.com/wangxiao5791509/ROLO
摘要:本文提出了一种新的方法进行空间监督 RCNN 来进行目标跟踪。我们通过深度神经网络来学习到 locations 的历史信息 和 具有判别性的视觉特征。收到最近的 bbox 回归技术的启发,本文研究了 LSTM 在时间领域的回归能力,可以连接高层视觉特征。跟现有的跟踪算法训练二分类器不同,我们在卷积层 和 recurrent unit 两个方面利用回归直接得到跟踪位置的预测。
由于受到各种跟踪问题的挑战,许多 tracker 都是采用产生式或者判别式的方法来区分前景或者背景,也就是将跟踪看做是一个二分类问题。一个主要的缺点在于:严重依赖于手工设计的feature,无法结合物体的语义信息(semantic information),对于突然的形变并不具有鲁棒性。所以,随着深度学习的火爆,越来愈多的 tracker 开始采用深度feature。但是,在时序上的探索,几乎还没有。
本文的关键动机是:tracking failures can often be effectively recovered by learning from historical visual semantic and tracking proposals.
算法流程:
如上图所示:算法的输入是 video frame,第一个框架是 YOLO,然后是 LSTM 单元,最终输出的是 target 的 location。
然后文章介绍了 LSTM 和 YOLO 的相关背景知识,此处略去,详情请参考相关文章。
本文提出的 tracker 的示意图,如下所示:
网络的训练分为三个阶段:
1. the pre-trained phrase of convolutional layers for feature learning; 卷积层的预训练,以提取 feature
2. the traditional YOLO training phase for object proposal 训练 YOLO 以产生 proposal
3. the LSTM training phase for object tracking. 训练 LSTM 进行跟踪
[b]实验效果展示:[/b]
arXiv Paper
Project Page:http://guanghan.info/projects/ROLO/
GitHub:https://github.com/wangxiao5791509/ROLO
摘要:本文提出了一种新的方法进行空间监督 RCNN 来进行目标跟踪。我们通过深度神经网络来学习到 locations 的历史信息 和 具有判别性的视觉特征。收到最近的 bbox 回归技术的启发,本文研究了 LSTM 在时间领域的回归能力,可以连接高层视觉特征。跟现有的跟踪算法训练二分类器不同,我们在卷积层 和 recurrent unit 两个方面利用回归直接得到跟踪位置的预测。
由于受到各种跟踪问题的挑战,许多 tracker 都是采用产生式或者判别式的方法来区分前景或者背景,也就是将跟踪看做是一个二分类问题。一个主要的缺点在于:严重依赖于手工设计的feature,无法结合物体的语义信息(semantic information),对于突然的形变并不具有鲁棒性。所以,随着深度学习的火爆,越来愈多的 tracker 开始采用深度feature。但是,在时序上的探索,几乎还没有。
本文的关键动机是:tracking failures can often be effectively recovered by learning from historical visual semantic and tracking proposals.
算法流程:
如上图所示:算法的输入是 video frame,第一个框架是 YOLO,然后是 LSTM 单元,最终输出的是 target 的 location。
然后文章介绍了 LSTM 和 YOLO 的相关背景知识,此处略去,详情请参考相关文章。
本文提出的 tracker 的示意图,如下所示:
网络的训练分为三个阶段:
1. the pre-trained phrase of convolutional layers for feature learning; 卷积层的预训练,以提取 feature
2. the traditional YOLO training phase for object proposal 训练 YOLO 以产生 proposal
3. the LSTM training phase for object tracking. 训练 LSTM 进行跟踪
[b]实验效果展示:[/b]
相关文章推荐
- Objective-c和javascript通信
- 《React-Native系列》17、 RN中this所引起的undefined is not an object错误
- 【转】C#取硬盘、CPU、主板、网卡的序号 ManagementObjectSearcher
- Java 数组中new Object[5]语句是否创建了5个对象?
- Objective-C类之关系
- error C2220: 警告被视为错误 - 没有生成“object”文件
- Android属性动画Property Animation系列二之ObjectAnimator
- 深入理解Objective-C:Category
- ObjectC快速入门教程(1)--创建类
- Objective-C中的@property和@synthesize用法及参数(readwrite/readonly)(assign/retain/copy)(atomicity/nonatomic)
- scala class和object,trait的区别
- Objective-C 14 代码块Block
- 全面解读Objective-C 中new与alloc/init的区别
- Objective-C Runtime 运行时之四:Method Swizzling
- Objective-C 13 协议protocol
- Objective-C Runtime 运行时之一:类与对象
- 详解Objective-C的meta-class
- objective-c 中字符串与日期转换和比较
- 【Objective-C】类与结构体的区别
- 【Objective-C】栈(stack)和堆(heap)的区别