1607.CVPR-Joint Learning of Single-image and Cross-image Representations for Person ReID 论文笔记

作者将reid任务按照最终测度方法的不同，分成了两类：即按照距离loss训练方法的SIR（single-image representation）和按照对比loss训练网络的CIR（cross-image representation），作者提出了一种卷积神经网络框架，可以将两类方法整合到一个框架里，进行联合训练，最终以得分和阈值设置的形式应用训练好的模型。这样可以提升匹配率的直觉上的原因：

SIR特征可以提前被预处理提取得到，仅仅需要做距离或相似度的计算来匹配图像，匹配效率更好

CIR方法可以更有效的建模probe和gallery之间的关系，本质也是学习一种度量矩阵，但特征提取过程，对空间位移和视角变化更具鲁棒性。

因此，在不增加太大计算代价的情况下，作者考虑结合SIR和CIR可能会得到更好的综合性能表现。

以二元组图像对输入为例，框架如下：



具体的模型结构设置：

The Pairwise model combine with SIR+CIR



框架介绍：

如图，以二元组图像对输入为例，SIR子网络和CIR网络共享一个基本的卷积特征提取，以降低计算代价，SIR子网络从每个图片的每个特征图中提取特征表达描述子，而CIR本质上还是从每两幅图像的两个特征图中提取整合的特征表达，采用SIR对应的距离loss和CIR对应由标准二分类SVM拓展而来的二元组分类loss来分别指导学习SIR子网络和CIR子网络参数，采用由这两loss加权的整体loss来训练得到包括共享卷积部分的整个网络的参数。

Pairwise Comparison Formulation

包括：z为提取到的特征向量， ξ为类似SVM中用的松弛变量，L为loss，b，α，和η都是trade-off参数，需要交叉验证法设置合适的经验参数。

作者寻找了SIR和CIR之间的联系，推导如下：

基于SIR的欧式距离计算可以被视为CIR分类得分计算的特例，而还有像reid中常用的马氏距离，联合贝叶斯和LADF等距离或相似度度量方法也可以被视为CIR分类得分计算的特例。我们可以通过得分与阈值的比较，比较两图像否为同一ID。

CIR分类得分计算，公式：

f代表单图像输入提取特征的卷积网络，x为图像，g为图像对输入的特征提取网络，s为应用网络得到的特征比对得分，w和b为分类器参数，类似于SVM中的w，b。



欧式距离：L2范数距离得分



马氏距离：度量学习M矩阵，学习M就类似于学习w



联合贝叶斯的概率测度得分计算：实质是更一般化的马氏距离



LADF：



然后，作者拓展了框架，得到整合的三元组输入的结构The triplet model combine with SIR+CIR



Triplet Comparison Formulation





实验

应用训练的模型，计算得分，依据：



即作者设计了三种计算得分来做匹配实验：

1.The pairwise model combine with SIR+CIR：Score1

2.The triplet model combine with SIR+CIR：Score2

3.用两个被训练的模型的融合：Score3=Score1+µScore2

在cuhk03上的实验对比：



另外，作者在cuhk01，cuhk03及VIPer上和现有一些的方法做了实验对比，有明显的效果提升。