A Video Saliency Detection Model in Compressed Domain

A Video Saliency Detection Model in Compressed Domain
Last Edit 2014/1/3
文献信息：
Y. Fang, W. Lin, Z.Chen, C. Tsai, and C. Lin, “A Video Saliency Detection Model in CompressedDomain,”
Circuits and Systems for Video Technology, IEEE Transactions on,vol. PP, no. 99, pp. 1-1, 2013

文献的内容：
主要的内容利用压缩信息（DCT系数，Motion Vector）分别提取出空域特征，时域特征，计算出spatioal saliency,temporal saliency,最终将两都融合（提出了新的融合方法）见下图。





计算过程是在8*8的blocklevel下进行的，MPEG4 ASP。

第一部分：A. Feature Extraction from Video Bitstream （特征提取）
1) DCT Coefficient and Motion Vector Extraction （DCT系数提取）
DCT系数主要是从I帧提取，64个系数。
运动向量是从P,B帧内提取。

2) Feature Calculation Based on DCT Coefficients (特征计算)
在一个8*8的块内包含1个直流系数（DC coefficient） 63个交流系数（AC coefficient）
AC系数主要是用来计算纹理特性的，而且主要是用前9个AC系数（因为前9个系数能够表示一个block的绝大部分能量）
纹理特征T：


3) Motion Feature Calculation Based on Motion Vectors（运动特征）

下面是一个Motion Feature提取的示意图：



第二部分B. Saliency Detection in Compressed Domain

1)Static and Motion Saliency Map Calculation

这个部分还是利用center-surround，并利用高斯模型来模拟这个机制。





分别求出各个特征的值后，下一步要做的就是把各个值融合在一起，最终求出图像的显著性；
怎么个融合呢？



2) Final Saliency Map Calculation
静态显著性值与动态显著性值的融合：



这个系数的计算就不去管了~~~~

跟上一篇文献对比，这篇文献的计算过程还是将spatial saliency 和temporal saliency 这两个过程分开来。