论文阅读：RCNN[Rich feature hierarchies for accurate object detection and semantic segmentation]

文章的突出点

可以利用大容量(high capacity)的卷积神经网络去定位分割物体

当我们训练数据很少的时候，我们可以使用迁移学习的方法来fine-tuning现成的网络

文章的重点当然是我们怎么去定位一个物体，在这里，我们以人脸识别为例，在一张图片中检测出人脸。

数据集:FDDB人脸检测库FDDB

流程：

从一张图像中选取许多个bounding box，文中说明了使用selective search 的方法去选择bounding box。

针对训练数据的bounding box，我们可以利用该图像的annotation data去给每一个图像计算一个IoU值，这个值就是我们该bounding box的得分。

我们可以设置一个阈值，如果bounding box的得分大于该阈值，则为face，否者该bounding box为background。这样我们就有了label，就可以利用VGG16去对他进行分类。

将上述得到训练集的bounding box作为训练集，去微调我们的VGG16网络，在这里我是固定的卷积层的参数，只是训练了全连接层的参数。

训练好分类模型以后，我们怎么去检测呢？

首先我们需要提取出所有的训练集，怎么提取呢？我们计算训练集的所有bounding box的全连接层输出，即就是一个bounding box对应一个4096维度的特征，由于我计算GPU显存不够，我就以一个batch的数组作为我的训练集。batch的组成：128个，64个正样本，64个人负样本组成。

我们同样将测试图像的bounding box提取出来

然后计算出每一个bouning box的全连接层输出，作为该bounding box的特征，即就是4096维度的一个特征。

然后我们针对每一个bounding box用SVM去做回归运算，算出每一个bounding box的得分。

然后我们再指定一个阈值，得分大于该阈值的则会face，否则会background

针对所有预测为face的bounding box，我们再利用非最大抑制(non-maximum suppression)的方法去合并、删除冗余的bounding box。

最后得到的便是我们检测的结果。

下图为例：左边的是输入，中间的未进行非最大抑制的结果，右边是进行非最大抑制的结果。





下面是我们训练的一个结果，我们将FDDB中的两折作为我们微调的数据集，一折作为验证集。Batch组成：[100:60negative, 40positive]



其中涉及的知识：

selective search：这是一种Region proposals的方法

具体的方法没有研究，有兴趣的话，可以阅读一下这篇论文。我感觉大意就是，随机出来一些框，然后按照纹理特征，将一些框框合并。

实现：我直接调用Github上一位大神写的库，地址如下：selective search

IoU:根据字面意思理解，I代表的是交集，U代表的是并集，o在这里代表的是除法。

两个矩阵的IoU值代表的就是两个矩阵的交集面积处于两个矩阵并集之后的面积。下图进行了形象的描述：



之前还看到过另一种定义的方式：size(A交B)/min(size(A), size(B)),我们可以通过实验来选择一种合适的，在这里我选择的是第一种。

非最大抑制(non-maximum suppression)：总体来说就是将不同的框框合并。

具体算法流程如下：

输入：N个矩阵R1..RN,N个得分S1..Sn

算法流程：

按照得分从高到低将N个矩阵排序，假设排序好的最高得分的是R1，并且得分依次递减，Rn的得分最低。

从前往后找到第一个未被确定的矩阵x

从该位置往后遍历，计算每一个矩阵y与矩阵x的IoU值，如果该值大于阈值，则删除矩阵y，否则继续该步骤。直到遍历完成整个矩阵集合。

重复步骤2，直到集合中的所有元素都已经确定。

输出：确定的m个矩阵

效果如下图所示，左边的是未进行非最大抑制的结果，右边是进行非最大抑制的结果。



本次实验代码：Upcoder/FaceDetection

欢迎大家mark，有问题一起探讨。