SPDA-CNN：Unifying Semantic Part Detectiojn and Abstraction for Fine-grained Recognition

这是2016年发表在CVPR中的一篇有关细粒度分类的文章

1. 引入:

1).细粒度分类的挑战性：微小的视觉差异可能会被其他的因素(如视角、角度等)遮掩。

2).最近有一些CNN-SVM框架的细粒度分类研究工作

思路:利用部件(parts)训练CNN网络，将输入图像中所有部件的特征连接起来输入SVM，得到最终的分类结果。

缺点:训练和测试是一个多阶段的过程。

3).作者提出了两层网络模型:

检测子网络(detection sub-network)：检测图像中微小部件

识别子网络(recognition sub-network)：提取部件特征，组合起来用以分类

4).作者将以上两个网络集成到了一个框架内

2. 方法

2.1部件检测子网络(Part Detection Sub-network)

2.1.1产生微小部件的区域建议

作者提出了一种基于几何形状的部件区域产生方法:

注意:这是一种标记有bounding box以及部件位置的方法

1).计算目标所在bounding box的方向梯度直方图(HOG)，代表其粗糙形状

2).基于HOG特征，利用K近邻，从训练集中挑选出K个最近的邻居(K张图片)

3).标记


m是每个目标的部件数（训练图像标记有部件）

4).产生区域建议:

1.强先验：根据k个最近邻居的部件类别标签、部件几何限制

K个图像 位置得到给定图像的第i个部件的区域建议位置

每个部件有K个区域建议，所有的部件区域建议:N=k*m

2.弱先验；

仅根据部件几何限制

K个图像 产生N=k*m个区域建议



相比于selective search，这种方法利用了先验知识，且产生的区域建议比selective search少一个数量级(eg.200vs2000)

2.1.2基于Faster rcnn的部件检测

以Fater rcnn作为检测网络

每个目标有m个部件，输出每个部件标签（m+1种标签，因为包括背景），每个输出都包括一个回归的bounding box以及置信度得分

对于每一个部件，只有最高置信度得分的部件的bounding box会被选择。并且设置了一个阈值，去除最高得分低于阈值的部件，这是因为有些部件在给定图像中可能并不可见。

2.2部件特征提取以及分类

作者添加了部件区域pooling层（如下图所示的Semantic part ROI pooling），部件级别的全连接层(下图中pfc)，以及一个全连接层(cfc)

1).从各个部件pooling特征后按照部件的顺序(如头部、腹部、背部等顺序)进行重新组织。

2).接下来连接一个部件级别的全连接层，主要用于提取部件的特征。

作者是第一个提出在CNN网络的中间层添加部件级别的全连接层，从而提取部件的特征

3).再连接一个全连接层

先前大多数工作利用CNN提取出部件特征后，输入到SVM中。作者提出用一个全连接层代替SVM。相比于CNN-SVM，作者的网络可以从头到尾(end-to-end)的训练及测试。

2.3将两个子网络集成到一个框架

两个子网络共享部分卷积层

总体来讲，这篇文章对于一个给定图像，首先基于Hog，利用KNN检索出最相近的K张图片，根据这K张图片的先验知识，估计出给定图像的部件位置。注意，本文所用的训练数据集是标记有bounding box以及部件位置信息的。估计出图像部件位置后，输入到fast rcnn中检测出更准确的部件位置，以及部件标签。然后将部件提取得到的特征输入到网络中，进行分类。

这篇文章，个人认为最大的缺陷是需要有标签的数据，包括标记的目标bounding box,部件的位置，以及标签。这种训练集需要大量的人工标记，而且本文所提的KNN的区域建议，也是基于很多标记信息，现实中，很难有标记如此详细的训练数据，这为广泛性的应用带来了难度。

整体网络结构如下: