fast r-cnn笔记

1. Introduction

关键点：从多阶段（multi stage）训练合并到single stage 训练

1.1 R-CNN存在的问题

多个训练阶段 multi stage pipeline：finetuing, svm classifier, bbox regressor

空间、时间上expensive：SVM, bbox regressor训练输入的cnn特征保存在磁盘

目标检测速度慢：每一个proposal都要经过cnn计算特征

SPPnet:基于R-CNN每个proposal都要计算cnn特征提出的改进，主要利用了spatial pyramid pooling技术（2006年论文）：

图片输入到CNN，获得该图片的卷积特征。再从该feature map上提取feature vector用来表示region proposal.

方法：提取多个固定大小的pooling，拼接在一起

a.max pooling the portion of the feature map inside the proposal into a fixed size output.e.g. 6*6

b. multiple output sizes are pooled, and concatenated by spatial pyramid pooling.

除了SPPnet的改进点，其他和R-CNN差不多：如多阶段训练。但SPPnet训练不更新spatial pyramid pooling之前的卷积层

1.2创新点

更高的检测准确率

单阶段训练，使用多任务loss

训练时可更新所有网络层

不需要写磁盘

2.架构

输入：整张图片和proposal集合，输入图片生成feature map。对于每一个proposal,RoI（region of Interest）pooling layer从feature map中提取固定长度feature vector。feature vector输入全连接层，之后分两路：softmax分类层（K类+背景）和bbox回归层（为每个k类中的对象输出四个实数值--bbox位置的修订值）。

2.1 RoI pooling layer

使用max pooling to convert the features inside any valid region of interest into 固定大小H*W(H,W为超参数)的feature map

RoI定义：卷积feature map中的一个矩形window。（r,c,h,w）：左上角坐标和高度、宽度

RoI max pooling：将h*w的RoI窗口分为H*W的网格子窗口，子窗口size大约为h/H * w/W，每个子窗口上做max pooling形成网格输出。（如同标准max pooling，在每个channel上都做pooling）。因此无论h、w多大，最终输出是统一大小，为H*W 

RoI layer可以认为是SPPnet中spatial pyramid pooling layer（只有一个pyramid level）的特例。pooling子窗口的计算同SPPnet。

2.2网络结构

预训练cnn模型最后一层max pooling替换为RoI pooling层，H,W的设置要符合网络的第一个全连接层大小（对于VGG16，H=W=7？？？---因为原始fc之前为7*7*512？）

最后一层fc层替换为：fc+softmax(k+1分类)，fc + bbox regressor

网络输入：图片list, 图像的RoI list

2.3

fast R-CNN可以更新网络所有的权重。

SPPnet不能更新spp层之前的权重的原因：每个训练样本（如RoI）comes from a different image时（R-CNN和SPPnet正是按这样的训练方式。理解：R-CNN训练输入是region proposal图片，一个批次有很多图片。那么若使用RoI层，感受野是很大的），bp算法通过spp层时效率很低--RoI可能有非常大的感受野，甚至跨越整张图片。因为前向计算需要处理整个感受野，所以训练输入会很大（比如整张图片）

我们提出的训练方法更有效，利用了训练阶段的feature sharing:SGD minibatch垂直采样--先采样N张图片，然后每张图片采样R/N个RoI。同一张图片的RoI在前向后向阶段中共享计算和内存。N取较小值降低了minibatch的计算量。例如，N=2，R=128，比从128张图片中采样1个RoI（这正是R-CNN、SPPnet的方式）快64倍（me:想象一下，输入128张图片，经过RoI层，能得到好的金字塔采样特征吗？）

concern:该策略可能导致训练收敛慢，因为同一张图片的RoI相关性很大。但实践中并未出现--使用N=2,R=128比R-CNN的训练迭代次数更少。

除了垂直采样，fast R-CNN在finetuning阶段联合优化softmax分类和bbox回归

Multitask loss

参考；http://www.echojb.com/image/2016/10/21/241511.html

两个输出层：

softmax层：全连接层的k+1个输出，计算softmax p=(p0..pk)

bbox回归层：k类中对每一个类都输出bbox regression offset tk(txk,tyk,twk,thk)，k为索引。tk指定了相对于proposal box的scale-invariant translation（尺度不变的平移）和log-space heigh/width shift（对数空间中相对于proposal的高和宽），即预测的offset值。

每个training RoI都标记了一个ground truth类u和一个ground truth bbox回归目标v。

对每个标记的RoI使用multi task loss L联合训练：

L(p,u,tu,v) = Lcls(p,u) + lambda[u>=1]Lloc(tu,v)

其中Lcls(p,u) = -logpu ，即true class u的log loss

Lloc：对类别u，其真实bbox回归目标（即标记的bbox值,即R-CNN公式中的真实目标值）为（vx,vy,vw,vh），

预测的offset（特征向量乘以待学习参数向量后的预测值）为 tu=(txu,tyu,twu,thu)

Lloc(tu,v)=ΣsmothL1(tiu-vi) i=(x,y,w,h)

smoothL1(x) = 0.5*x*x       if|x|<1

           = |x| - 0.5     otherwise

smooth L1相对于L1更为robust，和L2相比，对outliers异常值不敏感。如果回归目标unbounded，使用L2训练需要小心调整学习率避免梯度爆炸（me:smooth L1的函数，当x比较大时，输出是线性增长的，若采用均方误差函数，势必造成输出膨胀）

[u>=1]：u>=1时值为1，否则为0（背景类u=0，即背景类不考虑bbox，忽略损失函数）

lambda参数平衡两个loss权重，设为1。vi经过归一化处理，0均值，unit variance。

minibatch sampling

N=2,R=128 每个batch两张图片，每个图片采样64个RoI

25%（32个）的RoI为与ground truth bbox IoU overlap超过0.5的proposal，作为forground class，即u>=1

75%的RoI从与ground truth bbox IoU overlap[0.1,0.5）区间中采样，即background class，u=0.

阈值0.1貌似起到了启发式 hard example mining的作用。

data augmentation：图片50%概率水平翻转，

RoI pooling layer的反向传播计算

设xi为RoI层的第i个输入，

yrj为RoI层第r个RoI的第j个输出

根据定义，yrj=xi*(r,j),i*(r,j)=argmax xi'

即x为subwindow中使x取得最大值的值

那么loss L对输入xi求偏导数，相当于当i=i*(r,j)时对yrj求偏导数（求和：类似于bp公式推导中的步骤？）

，而对yrj导数可求出，故对xi也可求出。

SGD超参数

softmax、bbox全连接层：高斯分布，均值0，标准差分别为0.01、0.001.

偏值参数初始为0.

global learning rate 0.001

...

scale invariance

尺度不变的目标检测两种训练方法（参考SPPnet论文）:

brute-force训练：每个图片训练、测试时都是预定义好的尺寸

图像金字塔：测试时使用图像金字塔归一化每个object proposal.训练时，采样一张图片时随机选择一个金字塔尺度作为数据增广。

3. fast R-CNN detection

输入：图片（或图片金字塔，a list of images）、R个object proposals

若使用图片金字塔，每个RoI赋予一个尺度scale，使得scaled RoI最接近224*224大小

对于每个RoI r，计算类别概率p、4个offset（对于每个类别k都计算offset）。

检测置信度：pk

对每个类别k执行非极大值抑制（和R-CNN类似）

3.1 Truncated SVD for faster detection

要处理的RoI较多，前向过程中将近一半时间花在全连接层的计算。而全连接层可使用truncated SVD来压缩，加速计算

截断奇异值分解(Truncated singular value decomposition,TSVD)：u*v的权重矩阵W可以使用SVD分解(factorize)为UΣtVT

U:u*t矩阵，comprising the first t left-singular values of W

Σt：t*t diagonal matrix containing the top t singular values of W

V: v*t矩阵，comprising the first t right-singular values of W

TSVD将参数量由u*v降低到t(u+v)，如果t比min(u,v)小很多，则价值大。

实现：W对应的全连接层替换为两个全连接层，without non-linearity

第一个使用权重矩阵ΣtVT，无bias

第二个使用U，有bias

section 4

voc2007测试结果：VGG16上和SPPnet（使用5个scale）相比，fast R-CNN只使用single scale for train/test，但卷积层finetune带来很大提升（详见4.5节，对于深层网络如vgg16，finetune卷积层很有必要！！）

4.4

fast R-CNN和R-CNN相比：

预测：

不使用TSVD：快146倍，使用TSVD：快213倍

训练：减小9倍

TSVD：预测速度提升30%，准确率只降低0.3

4.5

对于深层网络如vgg16，finetune卷积层很有必要。但所有卷积层都要tune吗？

不是！对于小型网络，conv1足够通用（generic and task independent），文献14最早提出。

对于vgg16，conv3_1及以上的层才有必要tune：实验表明从conv2_1层开始tune，训练时间1.3倍，但是mAP只提高了0.3

5. design evaluation

多任务训练有帮助吗？

尺度不变如何训练？brute force还是多尺度？

需要更多的训练数据吗？

SVM分类超过softmax了吗？

更多proposal是否总是更好？---sparse vs dense?

5.1 multi task loss help?

对比实验：对准确率有提高

5.2 scale invariance

scale s: the length of image's shortest side

vgg16 s设为600，主要考虑内存占用。---用更大值效果会更好

（若输入图片较小，扩大图片相当于上采样；若较大，相当于图片压缩）

single-scale和muti scale效果相当---网络对scale 有一定的自适应能力