Re-ID: Person Re-identification by Local Maximal Occurrence Representation and Metric Learning 论文解析

注: 刚刚看完了这篇论文，顺便整理了一下这篇论文的思路，对论文的方法表示666

项目主页：http://www.cbsr.ia.ac.cn/users/scliao/projects/lomo_xqda/

论文解析

行人重识别有两个特别重要的问题：

Feature representation

Metric learning

在这篇论文中，作者采用的是LOMO的特征表示方法，以及XQDA的度量学习方法

LOMO：Local Maximal Occurrence Representation, 工作原理如下：

The LOMO feature analyze the horizontal occurrence of local features, and maximizes the occurrence to make a stable representation against viewpoint change. Besides, to handle illumination variations, we apply the Retinex transform and a scale invariant texture operator.

首先，使用Retinex algorithm 对图片进行预处理，减少光照对重识别带来的影响

Retinex considers human lightness and color perception. It aims at producing a color image that is consistent to human observation of the scene



从效果图中可以看到，在a中不同view下illumination的差异在b中基本被消除了，这一定程度上减少了光照对重识别带来的影响

接着，对使用Retinex algorithm得到的Retinex image使用HSV color historgram提取颜色特征

除了color description, 作者还采用Scale Invariant Local Ternary Pattern(SILTP)的方法获得illuminaton invariant texture description

以上主要解决illumination change的问题，接下来要解决viewpoint change的问题

在之前的工作中，有论文proposed：equally divided a person image into six horizontal stripe, and a single histogram is comouted in each stripe.

虽然这种方法在一定程度上可以减轻viewpoint change带来的影响，但是这种方法可能会导致空间细节的丢失，进而影响其判别的能力

因此，作者提出使用silding windows来完成描述的工作：

Specifically, we use a subwindow size of 10X10, with an overlapping step of 5 pixels to locate local patches in 128X48 images. Within each subwindow, we extract two scale of SILTP histograms, and an 8X8X8-bin joint HSV historgam. Each histogram bin represents the occurence probability of one pattern in a subwindow. (首先用10X10的silding windows，以步长为5进行滑动，然后对移动后的每一个subwindow提取三个直方图，直方图的每个bin代表对应pattern的出现概率)

To address viewpoint change, we check all subwindows at the same horizontal location, and maximize the local occurence of each pattern among these subwindows.（接着，为了解决角度变化的问题，将位于同一水平的subwindow的直方图的同一个bin取最大值，然后组成新的直方图）

The resulting histogram achieves some invariance to viewpoint changes, and at the same time captures local region characteristics of a person.（这些新获得的直方图不仅减轻了角度变化带来的影响，而且提取了图片局部的特征）



To further consider the multi-scale information, we build a three-scale pyramid representation, which downsamples the original 128X48 image by 2X2 local average pooling operation, and repeats the above feature extraction procedure. So our final descriptor has (8*8*8\ colorbins+3^4*2 SILTP\ bins)*(24+11+5\ horizontal\ groups) = 26960\ demension (现在考虑multiscale的问题，将原图下采样获得另外两个尺寸的图片，每个尺寸图片的horizontal subgroup分别是24， 11， 5，然后进行前面步骤，得到26960维度的特征向量)

Finally, we apply a log transform to suppress large bin values, and normalize both HSV and SILTP features to unit length.(最后，对直方图采用log运算并正规化， 然后就可以得到前面提到的26960维度向量)

XQDA：Cross-view Quadratic Discriminant Analysis, 工作原理如下：

To learn a discriminant low dimensional subspace by cross-view quadratic discriminant analysis, and simultaneously, a QDA metric is learned on the derived subspace. We also present a practical computation method for XQDA, as well as its regularzation.

XQDA是在KISSME Revisit与Bayesian Face的基础上提出的cross-view metric learning

首先使用高斯模型分别拟合类内与类间样本特征的差值分布



然后根据两个高斯分布的对数似然比推导出马氏距离

对数似然比：


马氏距离:


接着定义子空间W，将（4）投影到该子空间W，得到距离



为了得到一个具有区分能力的目标子空间W， 即类内方差小，类外方差大，因此得到以下的优化函数：



其原型是：J(w)=σE(w)/σI(w)

将这个优化函数进行最大化，得


最后得到解


但在实际计算中，协方差矩阵的计算复杂度较高，所以作者对公式进行了化简：





最后，再提一点，作者发现，取大于1有利于决定子空间维度。

介绍完该论文的特征表示以及距离度量学习的方法后，作者开始介绍他们的方法在四个数据集下的实验结果，以及与the state of the art(最先进技术)的比较，从实验结果可以看出，作者的方法的效果确实优于其它方法

作者还对自己的方法做了分析，说明方法是具有鲁棒性的。

最后作者做了总结并提出未来的可研究的方向

总结：We have proposed an effcient descriptor called LOMO, which is shown to be robust against viewpoint change and illumination variations. We have also proposed a subspace and metric learning approach called XQDA, which is formulated as a Generalized Rayleigh Quotient, and a closed-form soluton can be obtained by the generalized eigenvalue decomposition.

未来展望：It would be interesting to study other local features or feature coding approaches with the same LOMO idea for person re-identification.

以上内容皆为本人观点，欢迎大家提出批评和指导，我们一起探讨!