Object Detection from Video Tubelets with Convolutional Neural Networks

Object Detection from Video Tubelets with Convolutional Neural Networks

深度CNN，静态图像目标检测

- 对静态图像目标检测并且对目标进行追踪。提出时间卷积网络并加入时间信息使检测结果正规化和显示任务的有效性。文章提出了一种tubelet box扰动和最大池的方法提高性能，并且对比图像目标区域只需要1/38数量的box。

- 文章提出一种基于深度CNN的多级框架，包括两个模块：（1）tubelet候选模块连接目标检测和目标追踪；（2）tubelet分类和重新评价得分模块。

- Tubelet候选模块包括三个步骤：图像目标候选区域，候选目标评分，追踪高置信目标。1，通过选择性搜索算法（Selective Search）生成候选目标，首先进行ImageNet预处理基于R-CNN的AlexNet模型来减少negative目标；2，训练30个SVM对应VID中的类或者背景，SVM评分越高box中包含的目标的可信度就越高；3，然后将对可信度最高的box选追踪的anchor，进行向前向后的双向追踪，当追踪可信度小于阈值就停止追踪，从其余的检测列表中选择一个anchor进行追踪，如果目标重叠区域大于0.3，则该目标不会被选为anchor。以上三个步骤可以为每个目标类选取最大可信度的anchor开始追踪。

- Tubelet分类和重新评分：4，tubelet box扰动和最大池用更高的置信box替代，一种方法是重新生成box，另一种方法是用原始的目标检测替代；5，提出时间卷积网络（Temporal Convolutional Network，TCN），用检测得分，追踪得分，锚点偏移，生成的时间稠密预测等一维特征。

- 文章的三个特点：（1）提出了关于视频目标检测的完整多级框架；（2）研究了静态图像目标检测和目标追踪之间的联系以及它们在视频目标检测上的影响等这些细节；（3）提出一种包含事件信息的时间卷积网络用于视频目标卷积。