Query-Adaptive Late Fusion for Image Search and Person Re-identification阅读笔记

Query-Adaptive Late Fusion for Image Search and Person Re-identification

自适应查询的图像检索晚期融合

摘要：很多文献表明特征融合对图像检索是有效的。一般来说融合各种各样的特征会帮助查询到更多有效的结果。然而，我们不会提前知道，对于给定查询，哪个特征是有效的。故而判断特征的有效性极其重要。

本文提出了一种针对得分层的有效的且晚期融合方法。本文的动机是已排序的得分曲线会将好的特征表现出L形状，而逐渐下降的曲线表明是一个坏的特征。通过参考不相关数据集估计得分曲线的尾部，特征的有效性和归一化的曲线下面的面积成负相关。

本文在三个数据集上的效果超越了已有的两种特征融合方法。

1.介绍

本文考虑相似性图片搜索和对人工再鉴定额外的尝试。给定查询图像，目标是搜索图库中所有相似的图片。

最近多种特征融合的方法在不断发展。关键问题是如何提前知道哪个特征是有效的，即能够表示最好的区分度并获得较高的搜索精度。本文的贡献是：查询自适应：给定一个查询，被融合的特征应该被自动评估是否有效，以使用好的特征，忽略坏的特征。非监督：本文考虑普通数据集，对查询的图片没有任何先验知识，主要是针对未标记的数据集。

2.相关工作

已有的工作针对多种特征融合，主要有两种方式：早期和晚期融合。早期的融合中，描述子被结合在特征层或者甚至传感器层，然后结合的特征一起训练。而迟融合涉及到得分层和决策层的融合，在融合时候的信息内容能提供好的权衡。Nandarkumar等人对真正匹配和假匹配的得分进行统计，将其分布作为又穷高斯混合模型。Jain等人将匹配的得分转换成了公共域，且归一化的方案是数据独立的。分类的输出也会使用监督的贝叶斯方法，可以在L1范数下最小化分类错误。对于每一个样本，这些方法对于一个确定的分类器决定了一个固定的权重，没有采用样本变量。另一篇文章中使用了用户确定的权重，但是需要几个月的时间采集训练样本。本文的方法从本质上讲属于迟融合，是非监督的。

特征融合在图像检索中已经证明是有效的。基于Bow框架，局部特征例如颜色，会和纹理特征或者sift特征结合作为BOC，或者作为CMI多索引。这些方法工作在索引层，使用互补的线索，过滤一些假正性的SIFT特征。zhang等人一个融合索引方法，在索引的图像自检从语义一致性扩展倒排索引。还有一些方法在图节点之间发展了排序列表。图融合在融合的图上面，使用节点分析，局部和全局的列表使用同样的权重融合。有人提出基于图融合的学习方法，整合了多种模式进行空间重排。这些方法有以下两个缺陷：1.这些方法假设互补的特征被利用了，所以如果已经整合了无效特征是无法改变的。2.重重排序的方法大部分依赖离线的步骤，数据库中的所有图像都要被查询，或者必须保存重排序的结果。如果新的图像被加到图像库，离线的工作就需要重复进行一次，这个问题对检索的效率影响很大。

3.数据集

UKbench(size,10200),Holidays(size,1491)

特征：BOW(codebook 20k),hsv(20,10,5),GIST(512),Random Projection(bad features)

4.本文的方法

1)相似性函数

本文使用了几种策略结合多种特征，以获得全局的度量，例如求和，点积，最大化，最小化准则。本文利用了点积融合两个得分列表。

2）最好的特征和最坏的特征

使用0,1来标记最好最坏的score值，得出了L曲线的图形可以确定好的特征，横坐标rank100，纵坐标AP。

3）参考构建

假设一开始的score列表中图像都是不相关的；融合后的score得到的也是相同长度的L曲线。

4）查询自适应特征权重

权重根据第i种特征对应的得分曲线下的面积进行定义。提出的方法有两个优点，（1）在自适应查询的方法下估计了特征的有效性，（2）通过离线构造参考码书，在线的估计搜索非常快速，可以应用到大规模的动态在线系统。

5.实验

1）搜索结果：

参数选择：受向量分割的参数u,v和查询集Q的影响，

使用参考集的影响。

全局参数调整比较：本文自动调整权重。

坏的特征对map的影响。

和当前方案比较：与图融合和复合索引融合比较。

大规模的试验：map88%Holidays.

2)人工再识别？

6.总结

本文提出了一种得分层的融合方案，主要有两个优点。第一个是采用自适应的查询方式估计了特征的有效性，第二个是独立于测试数据库，离线处理数据集可适应于动态查询。本文使用非监督训练进行得分层融合，具有很大的可行性。