Image Retrieval: Ideas, Influences, and Trends of the New Age

摘要：本文考察了最近十年来与image retrieval和automatic image annotation领域取得的成就，并且讨论了相关子领域的研究进展。我们讨论了现有image retrieval技术应用的难点，并指出未来image retrieval研究发展的方向。

1 INTRODUCTION

    Image retrieval的研究领域如下图：



    本文组织展开如下：1.1节介绍早期的研究成果；2节讨论了一个real-world image retrieval系统需要考虑的因素；3节介绍了近十年取得的一些重大成就；4节介绍了CBIR (content-based image retrieval)研究带来的新问题；5节讨论了image retrieval system 评价方法。

2 IMAGE RETRIEVAL IN THE REAL-WORLD

2.1 User Intent

2.2 Data Scope

2.3 Query Modalities and Processing

2.4 Visualization

2.5 Real-world Image Retrieval Systems

3 IMAGE RETRIEVAL TECHNIQUES: ADDRESSING THE CORE PROBLEM

3.1 Extraction of Visual Signature

    特征提取（feature extraction）是CBIR系统的预处理步骤。提取的图像特征为后续操作相似度估计（similarity estimation），概念检测（concept detection），标注（annotation）提供输入。

    特征提取过程如图6。近十年来区域特征提取（region-based visual signature）受到关注。我们将讨论区域特征检测的第一步操作图像分割技术（image segmentation），然而我们还将发现segmentation-free技术越来越受到关注。

A 图像分割（image Segmentation）

    图像分割是获得局部签名（region-based signature）的关键，特别是以形状为特征时。（1）k-means聚类，速度快（2）归一化划分准则（Normalized Cuts criterion），将图像分割问题转化为带权图的分割问题。这一准则又扩展到纹理图像（textured image）的分割。

    医学图像搜索逐步兴起。（1）采用HMM和EM：3D脑MR图像（2）光谱聚类（spectral clustering）：脊椎MR图像（3）均值漂移（mean shift）。。。。各种分割方法。

    图像分割中的一些问题：计算复杂度（computational complexity）、分割可靠性（reliability of good segmentation）、分割质量评价方法（segmentation quality assessment methods）。介绍了一些不依赖分割质量（reduce dependence on reliable segmentation）的特征提取方法。

B 特征类型（Major Types of Features）

    特征用来表示一副特定图像的特性。全局特征（global feature）通常过于精确而鲁棒性较差，因此提出了局部提取（local extraction）和签名合成的方法（signature summarization）。

    局部特征提取由每一个像素邻域（neighborhood）计算得到。为了减少计算复杂度，图像被划分为不重叠（non-overlapping）的子块。全局描述（global description）可由多种方法得到，最普通的方法就是得到特征向量的分布。

    颜色特征（color feature）：CBIR发展早起就较为流行，近年来偏向图像颜色的summarization和构建签名上。MPEG-7标准。

    纹理特征（texture feature）：图片的颗粒度（granularity）和重复的周期性图样（repetitive pattern）。由于纹理特征更贴近语义理解，因此在航线图样、医学成像这些领域的image retrieval中至关重要。接下来是texture feature的一些研究进展。

形状特征（shape feature）：主要包括两个问题，即形状的表示和形状相似性。

与之紧密相关的是在本地图片中建立空间联系的方法。空间索引和匹配的

C 签名建立（Construction of Signatures from Features）

D 自适应图像签名（Adaptive Image Signature）