摘要

我们对41个最先进的模型（29个显著目标检测，10个注视点预测，1个算法，1个基线)，从定性和定量的角度广泛的比较了7个具有挑战性的数据集，以对显著的目标检测和分割方法进行基准测试。从目前获得的结果来看，我们的评估在过去几年在准确性和运行时间方面都取得了一致的快速进展。在这一基准测试中，排名前几位的模型表现明显好于三年前进行的前一基准测试中被认为最好的模型。我们发现，专为显著目标检测设计的模型通常比密切相关领域的模型表现得更好，这反过来又提供了一个精确的定义，并提出了一个适当的处理方法，以区别于其他问题。特别地，我们分析了中心偏差和场景复杂性对模型性能的影响，这与最先进的模型的困难情况一起，为构建更具挑战性的大规模数据集和更好的显著性模型提供了有用的提示。最后，我们提出可能的解决方案，以解决几个开放的问题，如评价分数和数据集偏差，这也提出了未来的研究方向，在快速增长的领域的显著目标检测。

引言

视觉注意力是人类视觉系统选择性地处理视觉刺激细节的惊人能力，已经被认知心理学、神经科学和计算机视觉等多个学科研究过。遵循认知理论(如特征整合理论(FIT)、引导搜索模型)和早期注意模型如Koch、Ullman和Itti等人的，数以百计的计算显著性模型提出了从图像和视频中检测视觉显著子集的方法。
尽管有心理学和神经生物学的定义，视觉显著性的概念在计算机视觉领域变得模糊。一些视觉显著性模型旨在预测人类注视来测试他们的准确性显著检测，而其他模型通常是由计算机视觉应用,如content-aware图像缩放和照片可视化，试图确定显著区域/对象和明确的特点判断用于评估。尽管这两种显著性模型可以互换使用，但由于显著性检测的目的不同，它们生成的显著性图实际上表现出显著不同的特征。例如，注视点预测模型通常会弹出稀疏的类块显著区域，而显著目标检测模型通常会生成平滑的连通区域。一方面，对大的显著区域进行检测，往往会导致严重的误报，从而影响对注视点的预测。另一方面，仅弹出式稀疏显著区域在检测突出区域和目标时，会造成大量的脱靶。
为了区分这两种类型的显著性模型，我们在本研究中给出了一个精确的定义，并提出了一种合适的显著性目标检测方法。一般来说，一个显著目标检测模型应该首先检测场景中突出的吸引注意力的对象，然后对整个对象进行分割。通常，模型的输出是一个显著性映射，其中每个像素的强度表示其属于显著性对象的概率。从这个定义中我们可以看出，这个问题的本质是一个figure/ground segmentation的问题，其目的是将显著的前景对象从背景中分割出来。注意，它与传统的图像分割问题稍有不同，后者的目标是将图像分割成感知上一致的区域。
在本研究中，我们比较和分析了三类模型:1)显著目标检测，2)注视预测，3)目标建议生成。之所以将后两种模型包括进来，是为了进行跨类别的比较，研究针对突出目标检测设计的模型在固定预测和目标建议生成方面是否比模型具有实际优势。这一点特别重要，因为这些模型具有不同的目标，并生成视觉上独特的地图。我们还包括一个基线模型来研究模型比较中中心偏差的影响。综上所述，我们希望这样的基准测试不仅能让研究人员将其模型与其他算法进行比较，还能帮助识别影响突出目标检测模型性能的主要因素。

显著目标检测基准

在此基准测试中，我们主要评估输入为单个图像的模型。这是由于对单个输入图像的显著性目标检测是主要的研究方向，而对多个输入图像的工作模型(如共显著性目标检测和时空显著性)的综合评价缺乏公共基准。

A 模型比较

本研究共运行41个模型(29个显著目标检测模型、10个注视预测模型、1个客观建议模型和1个基线模型)，这些模型的代码或可执行文件是可访问的(完整列表见图1)。基线模型表示为“平均注释图(Average Annotation Map, AAM)”，它只是每个数据集上所有图像的地面真相注释的平均值。值得注意的是，AAM通常在图像中心有较大的激活(见图2)，因此我们可以研究中心偏置对模型比较的影响。

B 数据集

由于存在许多数据集，这些数据集在图像数量、每幅图像的对象数量、图像分辨率和注释形式(边界框或精确区域掩码)方面存在差异，因此模型在不同数据集之间的排名可能不同。因此，为了进行公平的比较，有必要对多个数据集运行模型，从而得出客观的结论。一个好的模型应该能够很好地处理几乎所有的数据集。为此，选择7个数据集进行模型比较，包括

1. MASRA10K
2. THUR15K
3. ECSSD
4. .JuddDB
5. DUT-OMRON
6. SED2
7. PASCAL-S
   选择这些数据集的准则：
   1)使用广泛，2)包含大量图像，3)有不同的偏差(如:突出物体的数量、图像杂乱、中心偏差)，4)有可能作为未来研究的基准。

C 评价方法

有几种方法可以衡量模型预测和人工注释之间的一致性。一些度量方法评估标记区域和模型预测之间的重叠，而另一些度量方法尝试评估带有对象边界的绘制形状的准确性。此外，一些度量标准试图同时考虑边界和形状。

• PR：M mask G ground-truth
  
  mask 方法：
  1阈值，显著性平均值的2倍。
  
  2 固定阈值 （0-255）
  3 saliency cut algorithm
• F-度量 （β2=0.3\beta^2=0.3β2=0.3）
  
• ROC
  
• AUC
• 平均绝对误差
  
• FβWF^W_\betaFβW​度量

• 点赞
• 收藏
• 分享
• 文章举报