对抗学习用于目标检测--A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection

A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection

CVPR 2017

Caffe code : https://github.com/xiaolonw/adversarial-frcnn

本文将对抗学习引入到目标检测问题中，通过对抗网络生成一下遮挡和变形的训练样本来训练检测网络，从而使得网络能够对遮挡和变形问题更加的 robust.

2 Related Work

针对目标检测问题，当前学术界主要从三个思路进行探索：

1） 设计更好的网络架构来提升性能，主要是使用更深的网络结构，例如 ResNet，Inception-ResNet ，ResNetXt

2） 使用 contextual reasoning，充分利用各个卷积层的特征

3） 充分利用数据来提升性能，例如 hard example mining

本文属于充分利用数据这个思路，我们使用对抗网络来生成一些 hard examples ，用这些样本来训练检测网络以此提升检测系统的性能。

3 Adversarial Learning for Object Detection

本文主要侧重于解决遮挡和变形问题。但是对于一些特殊情况的样本很难出现在数据库中。如下图所示：





本文使用的检测系统是 Fast-RCNN，下面来看看Fast-RCNN的整体结构：



对抗网络设计：

这里我们分别设计了两个对抗网络 ASDN and ASTN，分别对应于 遮挡和变形



这里我们使用全链接层产生 Occlusion Mask，遮挡掩模，通过这个Mask 对 feature vector 进行修改，生成遮挡的feature vector ，然后将这个特征进行分类识别，根据识别置信度来选择合适的 Mask 。

Generated Masks ：



ASDN 和 ASTN 的组合：



这里的 ASTN 我们使用 Adversarial Spatial Transformer Network

实验对比：



学术意义大于工程意义， 为了简化问题，选择了 Fast R-CNN 而不是 Faster R-CNN .