论文笔记 《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》

转自：http://zhangliliang.com/2014/09/13/paper-note-sppnet/

论文笔记 《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》

对应的论文是：http://arxiv.org/pdf/1406.4729v2.pdf

对应的slide：http://research.microsoft.com/en-us/um/people/kahe/eccv14sppnet/sppnet_ilsvrc2014.pdf

作者Kaiming He的主页：http://research.microsoft.com/en-us/um/people/kahe/

思路概述

用SPP替代了最后一个pooling层，也就是由一个pooling变成多个scale的pooling，使得网络能够以任意尺寸的图片作为输入，输出等长的特征

如下图所示，由于传统的CNN限制了输入必须固定大小（比如AlexNet是224x224），所以在实际使用中往往需要对原图片进行crop或者warp的操作

crop：截取原图片的一个固定大小的patch
warp：将原图片的ROI缩放到一个固定大小的patch

无论是crop还是warp，都无法保证在不失真的情况下将图片传入到CNN当中。

crop：物体可能会产生截断，尤其是长宽比大的图片。
warp：物体被拉伸，失去“原形”，尤其是长宽比大的图片





Spatial Pyramid Pooling，以下简称SPP，为的就是解决上述的问题，做到的效果为：不管输入的图片是什么尺度，都能够正确的传入网络。

思路很直观，首先发现了，CNN的卷积层是可以处理任意尺度的输入的，只是在全连接层处有限制尺度——换句话说，如果找到一个方法，在全连接层之前将其输入限制到等长，那么就解决了这个问题。

然后解决问题的方法就是SPP了。

从BoW到SPM

SPP的思想来源于SPM，然后SPM的思想来源自BoW。

关于BoW和SPM，找到了两篇相关的博文，就不在这里展开了。

第九章三续：SIFT算法的应用—目标识别之Bag-of-words模型

Spatial
Pyramid 小结

最后做到的效果如下图：





如果原图输入是224x224，对于conv5出来后的输出，是13x13x256的，可以理解成有256个这样的filter，每个filter对应一张13x13的reponse map。

如果像上图那样将reponse map分成4x4 2x2 1x1三张子图，做max pooling后，出来的特征就是固定长度的(16+4+1)x256那么多的维度了。

如果原图的输入不是224x224，出来的特征依然是(16+4+1)x256

直觉地说，可以理解成将原来固定大小为(3x3)窗口的pool5改成了自适应窗口大小，窗口的大小和reponse map成比例，保证了经过pooling后出来的feature的长度是一致的

如何训练网络

理论上说，SPP-net支持直接以多尺度的原始图片作为输入后直接BP即可。实际上，caffe等实现中，为了计算的方便，输入是固定了尺度了的。

所以为了使得在固定输出尺度的情况下也能够做到SPP-net的效果，就需要定义一个新的SSP-layer

作者以输入224x224举例，这时候conv5出来的reponse map为13x13，计算出来的步长如下图所示。





具体的计算方法：

reponse map为a*a，SPP后得到的一个子图为n*n, 那么窗口尺寸sizeX=ceiling(a/n)，步长stride=floor(a/n)

如果输入改成180x180，这时候conv5出来的reponse map为10x10，类似的方法，能够得到新的pooling参数。

两种尺度下，在SPP后，输出的特征维度都是(9+4+1)x256，之后接全连接层即可。

训练的时候，224x224的图片通过随机crop得到，180x180的图片通过缩放224x224的图片得到。之后，迭代训练，即用224的图片训练一个epoch，之后180的图片训练一个epoth，交替地进行。

如何测试网络

作者说了一句话：Note that the above single/multi-size solutions are for training only. At the testing stage, it is straightforward to apply SPP-net on images of any sizes.

笔者觉得没有那么简单吧，毕竟caffe对于test网络也是有固定尺度的要求的。

实验

之后是大量的实验。

分类实验

如下图，一句话概括就是，都有提高。





一些细节：

为了保证公平，test时候的做法是将图片缩放到短边为256，然后取10crop。这里的金字塔为{6x6 3x3 2x2 1x1}（笔者注意到，这里算是增加了特征，因为常规pool5后来说，只有6x6；这里另外多了9+4+1个特征）
作者将金字塔减少为{4x4 3x3 2x2 1x1}，这样子，每个filter的feature从原来的36减少为30，但依然有提高。（笔者认为这个还是保留意见比较好）
其实这部分的实验比较多，详见论文，不在这里写了。
在ILSVRC14上的cls track，作者是第三名

定位实验

这里详细说说笔者较为关心的voc07上面的定位实验

用来对比的对象是RCNN。

方法简述：

提取region proposal部分依然用的是selective search
CNN部分，结构用的是ZF-5（单尺度训练），金字塔用了{6x6 3x3 2x2 1x1}，共50个bin
分类器也是用了SVM，后处理也是用了cls-specific regression

所以主要差别是在第二步，做出的主要改进在于SPP-net能够一次得到整个feature map，大大减少了计算proposal的特征时候的运算开销。

具体做法，将图片缩放到s∈{480,576,688,864,1200}的大小，于是得到了6个feature map。尽量让region在s集合中对应的尺度接近224x224，然后选择对应的feature map进行提取。（具体如何提取？后面的附录会说）

最后效果如图：





准确率从58.5提高到了59.2，而且速度快了24x

如果用两个模型综合，又提高了一点，到60.9

附录

如何将图像的ROI映射到feature map？

说实话，笔者还是没有完全弄懂这里的操作。先记录目前能够理解的部分。

总体的映射思路为：In our implementation, we project the corner point of a window onto a pixel in the feature maps, such that this corner point (in the image

domain) is closest to the center of the receptive field of that pixel.

略绕，我的理解是：

映射的是ROI的两个角点，左上角和右下角，这两个角点就可以唯一确定ROI的位置了。
将feature map的pixel映射回来图片空间
从映射回来的pixel中选择一个距离角点最近的pixel，作为映射。

如果以ZF-5为例子，具体的计算公式为：





这里有几个变量

139代表的是感受野的直径，计算这个也需要一点技巧了：如果一个filter的kernelsize=x,stride=y，而输出的reponse map的长度是n，那么其对应的感受野的长度为：n+(n-1)*(stride-1)+2*((kernelsize-1)/2)

（不太理解原博主的算法，按我自己理解的计算感受野直径的方法是：n*x-(n-1)*(x-y)→x+(n-1)*y）



16是effective stride，这里笔者理解为，将conv5的pixel映射到图片空间后，两个pixel之间的stride。（计算方法，所有stride连乘，对于ZF-5为2x2x2x2=16）
63和75怎么计算，还没有推出来。。。。囧

为何使用SPP后能避免RCNN重复计算问题，大量减少计算量？

RCNN有个很大的问题，前期挑选的2000个region proposals有大量的重叠区域，这么多region proposals都进行CNN非常的耗时。而使用SPP后，恰好解决了这个重复计算问题。

SPP用在CNN中用来做detection的框架图如下图所示：



SPP前期也是需要做图像分割，但和RCNN不同的是，它不是把所有的region proposals都进入CNN提取特征，而是整张原始图像进入CNN提取特征，2000个region proposals都有各自的坐标，因此在conv5后，找到对应的windows，然后我们对这些windows用SPP的方式，用多个scales的pooling分别进行fc层，然后SVM,从而判断这些windows对应的region prosal是不是某一目标。这样减少了大量的计算量，根据作者文章说，大概快乐20-60倍。但目前看来时间还是瓶颈，前期的region分割时的时间也不少，selective
search大约要1s