[精读]Spationtemporal Saliency Detection Using Textural Contrast and Its Applications

Spationtemporal Saliency Detection Using Textural Contrast and Its Applications
Last Edit 2013/12/3
一点题外话：
最近才把研究方向定下来了，视频显著性。导师给了30篇相关文献，让我仔细研读，了解paper的思路。为了督促自己，要求自己将读过的文献都做一点相关的总结。因为CSDN博客不能设立私密空间，若有网友看到我写的东西，希望指正，毕竟我还是一个初学者，对于这个研究方向还是太熟悉，写这个总结纯粹是为了个人学习之用，里面的内容还不是很完善，可能有错误，请勿转载。

文献的具体信息
W.Kim, and C. Kim, “Spatiotemporal Saliency Detection Using Textural Contrast and Its Applications,”Circuits and Systems for Video Technology, IEEETransactions on, vol.
PP, no. 99, pp. 1-1, 2013

作者信息
Kim,
W.

Wonjun Kim is with the Future IT Research Center, Samsung Advanced Institute of Technology, Gyeonggi-do 446- 712, Korea. This work is done when he was in KAIST.(email:jazznova@kaist.ac.kr)

Kim,
C.

文章的核心内容：
"In this paper,we introduce a novel unified framework for detecting salient regions in both images and videos."
为图像和视频中的显著性区域提供了一个统一的检测框架。就是说文中的算法既能用于图像显著性区域检测，又能用于视频显著性区域检测。
“We propose to use textural contrast defined as the combination of luminance contrast and directional coherence contrast ,and extend this concept to the spatiotemporal domain by considering temporal
gradients”.
算法结合了图像中亮度对比度和方向一致对比度，并且将时域梯度引入。

算法实现过程分为两步：

A.计算 Spatial saliency by textural contrast

1)计算luminance contrast :所谓luminance contrast就是每一个像素点的强度与图像的平均强度的一个对比度，公式如下



各变量的含义如下：



n取2时，效果最好。

2）计算structure tensor(图像的结构张量)
为什么要计算这个量，这个量是什么？directional coherence具体的定义是什么？

单纯地运用图像的梯度信息，对于图像背景有大片的物体重叠，或者图像背景的纹理复杂时，计算出来的显著性图很差，包括大量的背景区域，而中心-周围区域的方向图（directional patterns）与图像的重要结构很接近，这种结构与视觉关注是一致的。（有点不确定，还有待查阅相关文献）
基于局部梯度场，structure tensor能够有效地概括出主方向及沿着这个方向的能量。

structure tensor（是一个2*2的矩阵，所以其特征值只有两个）的计算公式如下：





作用：

之差表示局部区域的梯度沿着主方向方向的强度分布情况。两个特征值差越大，表明区域的方向性越明显，对于区分不同的区域有作用。相反，区域可能属于同一个大的同质区域。（个人理解，有待验证）
在论文中作者在一幅图片中三个不同的区域分别选择一个区域，计算其出梯度的分布图。
这三个区域分别是：（1）两个区域的边界处；
（2）一个背景复杂的区域；
（3）背景一致的区域。如下图所示



为了表征这个强度的大小，文中定义了一个directional coherence



中心-周围区域的directional coherence contrast的计算公式如下（不用平均梯度是因为平均梯度计算的问题，不能得到可靠的结果来反映这种的对比度）





物理意义：上述公式计算结果越大，表明两个区域对比度越大。可用于定位出两个区域的大概边界（个人理解，有待验证）

使用directional coherence contrast的好处是：
1）在亮度和对比度快速变化的图像中，也能够提供可靠的directional coherence contrast maps；
2）抗噪能力

最终，本文的每一个帧图的显著性图的模型由如下公式决定：



由公式可知，它既包含了Luminance contrast 和directional coherence contrast .同时呢，在两者相乘之前，都是经过高斯滤波的，并且计算结果也被归一化到[0,255]。

B Combining with temporal saliency

在时空显著性检测中，必须加入运动信息，或者说是运动刺激.。为了计算这种运动对比,将上述的directional coherence 运用到时域梯度计算中来。
1）时域梯度的structure tensor计算公式





2）

，则directional coherence 可被定义成如下



3）temporal saliency:



计算方法跟计算 spatial saliency 是一样，所以在算法实现过程中，应该调用相同的代码段。

4）spatiotemporal saliency map:



5)引入多尺度
原因：1）对于一幅输入图像，显著物体大小是未知的；
2）对于HVS,在不同的尺度的的图像是地位是平等的，所以在生时空显著图像时，各个尺度的权重是相同的



最终的计算公式



后续补充会放在代码的实现上。