数字图像处理--显著目标检测思路

目录(?)[+]

1、显著目标检测介绍

显著性检测最近几年成了研究热点，从计算机视觉三大会议（ICCV, CVPR, ECCV）上的文章数量就可以看出，大概每届会议都有10来篇的样子，一个这么小的topic，10来篇数量已经很多了。如果你看一看这些文章就会发现，显著目标检测的占了大部分，眼动点预测的很少，大概就一两篇。看到这，有些人也许还不明白显著目标检测和眼动点预测区别。其实，显著目标检测就类似于一个二值分割问题，只不过加了显著这个条件约束；而眼动点预测则是提取出人眼感兴趣的一些点，而不是提取出显著的整个目标区域，也就是说有些像素哪怕是在显著目标上，它也可能不吸引人的眼球。那么为什么显著目标检测文章最近几年这么多呢？究其原因，我个人认为首要就是这个topic简单，不需要太深的数学理论，而且不需要生理方面的研究基础（眼动点预测更侧重人脑的生理方面），容易出文章，谁都可以搞一搞；然后，显著目标检测的应用在计算机视觉上更直接一些，包括图像分割，也就是saliency作为prior，来指导segmentation，来实现unsupervised
segmentation。然后，就是图像分类了，可以利用saliency来提高feature的discrimination，如利用saliency来指导sparse code等等吧；最后，就是大牛们itti和borji等的持续push，写了很多的benchmark文章，当然更多是在眼动点预测方面，也有ECCV12关于salient object detection的benchmark。现在的要发个top，最好要和ECCV12 benchmark上的top ranked算法在提到的几个database上比较一下。不过，一个topic持续的发热一段时间以后，很多人发现，显著目标检测也越来越难做了，没有idea了，能想到的，都被用了。那么，我接下来就来讲一讲怎样继续做显著目标检测的研究。

2、显著目标检测的研究思路

第一，借鉴其他相关问题的解决思路来做saliency

我先来介绍一下和salient object detection最相关的两个问题：

1、Segmentation

– Figure/ground segmentation or matting
– Image segmentation or clustering
– Semantic segmentation or image parsing

2、Object detection and recognition

– Class-independent object detection and recognition
– Class-specific object detection and recognition

接下来，我就举一些例子，来说明怎样从这些相关领域来得到启发

第一个例子就是MSRA的yichen wei等ECCV12 Geodesic saliency，这篇文章的主要是利用boundary prior和测地距离来进行显著性检测。而相似的思路也应用于segmentation中，如Geodesic Graph Cut for Interactive Image Segmentation,
CVPR 10，就是利用和人为标记的一些先验区域的测地距离，来衡量像素属于目标或者背景可能性，当我们把人为标定的先验区域，用boundary prior替代，就可以实现bottom-up的saliency detection了。而boundary prior在Constrained Parametric Min-Cuts for Automatic Object Segmentation, CVPR 10，也已用到，就是利用boundary prior来指导分割的。

第二个例子就是CVPR13的Salient Object Detection: A Discriminative Regional Feature Integration Approach。相似的思路，也在Constrained Parametric Min-Cuts for Automatic Object Segmentation, CVPR 10中，用来进行segmentation。不同的是一个处理的是region，一个是binary segment。处理region的好处，就是可以加上center-surround等各种saliency的机制。

第三个例子CVPR13的 Saliency aggregation。文章主要是利用local learning的思想，就是说类内差异性，导致一个针对整幅图像库的model不可能对每个图像都好，所以他就对每个图像训练了一个local model。相似的思路，在Object recognition有很多，如Extracting Foreground Masks towards Object Recognition, ICCV 11. 另外， CVPR13
Looking beyond image saliency， 也采用了类似的idea。

第二，利用一些新的技术来进行显著性检测

我们可以借用machine learning方面一些技术，比如说，sparse code，pca，manifold learning，ranking，graph model等来做saliency。这些idea容易搞，就是把一些技术应用到saliency上来。举几个例子，CVPR13的 manifold ranking saliency， pca saliency等，ICCV13 的 Contextual Hypergraph Modelling for
Salient Object Detection 等。

3、以后研究思路

我觉得以后的salient object detection可以沿着几个思路做一些。

第一，可以在速度方面做一些工作，毕竟salient object detection 自己几乎没啥用，就是做一些高级应用的pre-processing。

第二，可以做一些sparse code的saliency研究，貌似sparse code在很多方面都要火一阵，比如classification，tracking，super-resolution, denoise等等，是不是在saliency也要火一阵，貌似sparse code的效果还不太好。ICCV13 huchuan lu有一篇 sparse code，效果还不错。

第三，多用一些prior来做saliency。比如可以利用inter-image or out-image等的prior来把saliency这个ill-posed问题转化为well-posed。这是个很好的方向，比如我们可以学习统计的prior或者发现新的prior，相关的思路在segmentation也有了，比如CVPR 13Robust Region Grouping via Internal
Patch Statistics 和 ACM MM10 的 Image segmentation with patch-pair density priors。