论文阅读-《Speed/accuracy trade-offs for modern convolutional object detectors》

Google Research

开源code/model地址：https://github.com/tensorflow/models/tree/master/object_detection

0.abstract

本文主要对主流的三类object detector进行了speed-accuracy trade-off上的比较。

作者考虑三类”meta-architectures”：faster rcnn 、r-fcn以及ssd

faster rcnn和r-fcn是region-based detector，不同的是，faste rcnn里面box classifier用的是强分类器，而r-fcn里面的box classifier相对可以看成弱分类器的组合。

ssd（这里包括了yolo等）是region-free detector

作者主要探讨了不同的feature extractor、image resolution、以及对于faster rcnn和r-fcn来说，number of proposals对检测器性能（精度、速度、内存使用）的影响

1.Motivation & contribution

目前主流的目标检测框架缺乏相互之间各方面的对比，因此作者在tensorflow上将各个主流的检测算法都实现了一遍，用来对比不同检测算法，当然这里对比的都是各个算法的single model，也就是说不使用ensemble。

作者主要的两点发现是：

1.使用较少的proposal可以大大加快faster rcnn的速度，同时对精度的影响不大；

2.SSD性能受feature extractor的影响没有其他两种框架大。

2.Meta-architecture

SSD结构，region-free / single shot



faster rcnn结构：region-based / 每一个proposal需要经过后面的sub-network



R-FCN结构：region-based / feature map经过一次sub-network，每一个proposal通过ps roi-pooling即可得到预测量

3.Architecture configuration

3.1feature extractor

作者主要选择了6种常用的feature extractor：vgg16/resnet-101/inception-v2/inception-v3/inception resnet-v2/mobilenet

下图表示各个feature extractor在imagenet上的精度和参数的数目

3.2number of proposals

对于faster rcnn和r-fcn，原论文都是选择300个proposal进行实验。作者在本论文中将proposal的数目在10到300取值进行实验。

3.3output stride setting

对于resnet和inception resnet，output stride可以设置为16和8

3.4loss function

所有实验模型的loss function都是采用smooth L1 loss

3.5input size configuration

训练的时候每一个模型都训练一个high-resolution版本和low-resolution版本

对于Hi re：设置短边为600

对于Lo re：设置短边为300

3.6traing and hyperparameter tuning

对于原版的faster rcnn和r-fcn，作者用的是4-stage training strategy，在本文中，作者用end-to-end的方式训练所有的模型

另外，作者将faster rcnn和r-fcn中的roi pooling替换成了crop_and_resize层（用双线性插值的方法将proposal resample到fixed size）

3.7benchmarking procedure

测试图片需要将短边resize到300或者500，测试时间是在500张图上的平均，内存占用是在3张图片上取平均；

测试集为COCO，标准为MAP@IOU[0.5:0.05:0.95]

4.Results

4.1accuracy vs time

一般来说，ssd和r-fcn要快一些，faster rcnn慢一些但是精度会更高。上图的虚线表示了最优的折衷边界，曲线的走势说明精度的提升只能靠牺牲速度。

可以看到:

最快的模型应该是SSD w/MobileNet Lo Res

较好的speed/accuracy折衷是 faster rcnn w/Resnet Hi res 50 proposals和R-FCN w/Resnet Hi Res 100 proposals.

精度最高的是faster rcnn w/Inception resnet Hi res 300 proposals output_stride=8

4.2 the effect of feature extractor

对于faster rcnn和r-fcn，一般来说，feature extractor在classification teask上的准确率越高，对应的detector的performance越好，对于SSD来说，对feature extractor的性能不那么敏感。

4.3the effect of object size

可以看到的是，所有的模型在大的目标上的检测效果都很好，SSD在小目标的检测效果上明显要比faster rcnn和r-fcn系列要差。

4.4the effect of the number of proposals

横轴表示proposal的数量，实线表示mAP，虚线表示GPU time。可以看到，对于faster rcnn来说，可以在不怎么损失mAP的情况下，减少proposal的数量，从而提高速度。

但是对于r-fcn来说，减少proposal的数目并不能得到更好的speed-accuracy trade.

这是因为r-fcn把原来faster rcnn的roi pooling移到了网络的最后一层，这样所有proposal的计算量就大大减少了，降低proposal的数目对速度的影响也就不大。

4.5memory analysis

不同模型的GPU内存占用量，实现表示使用不同数目的proposal带来的variance。

4.6

作者在实验中还发现，mAP@0.75和常用的COCO指标mAP@[0.5:0.95]高度相关，因此，在0.75IOU下表现好的模型，在所有的IOU阈值下的表现应该也都不错。

4.7state-of-art performance on COCO

最后，作者将实验中几个表现较好并且相互之间比较互补的模型ensemble起来，得到了state-of-art的性能。