运动目标检测小结

前段时间一直做运动检测，现在总结一下，供网友参考，不要在论文的苦海中挣扎了

运动检测小结2012.7.1

运动检测作为许多计算机视觉应用中的预处理环节，在诸如视频监控、智能空间、视频搜索等等领域中都有着重要的应用，综述性文章包括[1]，[2]等。运动检测中的运动目标称为前景，是人们感兴趣的区域，而不是前景的区域称为背景，是需要忽略的区域，运动检测的目的即是在一个视频流中提取出前景区域，供下一步目标识别、跟踪、行为分析等等环节处理。正如文献[1]中所说，很难准确的定义什么是前景，即什么样的运动被认为是感兴趣的，特别是在诸如光线渐变、突变，动态背景，伪装效应，阴影，鬼影等等具有挑战性的场景中，准确的定义前景并精确的提取出前景是一件十分困难的任务,常用的方法是首先建立一个背景的模型，并用该模型不断的与视频中的每一帧图像进行比较，图像中与背景相似的区域被认为是背景，而不能匹配上的区域称为前景，最后利用该图像信息更新背景模型，供下次检测使用，该方法称为背景剪除方法。背景剪除可分为4个过程，即预处理、背景建模、前景检测、后处理[3]。其中背景建模与前景检测是背景剪除方法的关键环节，许多背景剪除方法的设计都是从这两方面着手的。但预处理与后处理同样起着重要作用，任何背景建模方法都能通过适当的预处理（色彩空间转换、滤波等）和后处理（滤波、显著性检测等）以提高性能[3]，特别是马尔科夫随机场理论作为一种后处理手段，是一种较为常用和有效的技术（[1]，[4]，[5]）。正是由于运动检测在实际应用中的重要作用以及运动检测的困难性，近10年来吸引了越来越多计算机视觉的研究者投身到这一领域，一些重要成果不断涌现，在IEEE
Xplore上快速检索“motion detection”字样可返回超过4000篇论文[6]。

在数量众多的背景剪除方法中，早期的较为经典的方法包括Stauffer与Grimson的混合高斯背景建模方法[7]以及Elgammal等人的非参数核密度估计方法[8]。采用单幅静态背景图像作为背景模型用于前景检测的方法，当遇到诸如光照变化等等情况时，其检测效果往往不佳。Wren等人[9]在其系统Pfinder中将背景中每一像素建立为服从高斯分布的分布模型，其中高斯分布的均值与方差采用迭代更新的方式，并通过当前图像灰度值与背景像素分布的Mahalanobis距离检测前景。该方法在室内环境光线变化不太剧烈的情况下工作良好，但当在室外环境下，存在诸如树叶、水面波纹周期运动等情况，即背景像素分布为多峰分布时，单个高斯模型并不能很好的模拟实际场景。混合高斯模型[7]将背景像素建立为多个高斯模型的加权和的形式，能够很好的模拟多峰背景的情况，对于动态背景情况，当背景变化不太剧烈时也有一定的适应能力。相比于模型结构固定的参数化方法，Elgammal等人[8]的非参数核密度估计方法根据图像像素的历史数据建立背景的非参数分布模型，并通过阀值化的方法进行前景检测，该方法较混合高斯模型有更高的准确度，但算法的复杂性也随之提高。针对传统经典方法中诸如参数不能根据场景自动调节等等问题，研究者在混合高斯模型和核密度估计的基础上提出了一系列的改进方法，例如Zivkovic[10]，Riahi[11]，KaewTraKulPong[12]，Nonaka[13]等等。其他较早的方法还有特征空间法[14]、码书法[15]等。特征空间法将整幅图像作为一个整体投影到特征空间上，并采用主成分分析的方法降维以减小计算量，前景检测时用当前图像与预先训练的背景图像在特征空间上做差并阀值化以得到前景区域。码书法将背景中每个像素的模型建立为一个代码表，并利用训练图像的各通道的灰度值进行编码，前景检测采用查表的方式以确定前景区域。

针对运动检测这个问题，近10年来研究者结合具体的应用场合已提出了为数众多的方法，但由于缺少统一标准的测试数据，从而缺乏对这些方法客观公正的评价比较。另一方面，由于运动检测的特殊性，针对诸如光线变化、动态背景、阴影、伪装效应等等情况，很难有某种方法能够处理所有的情况，一种方法对某种情况有好的处理效果，对另一种情况的处理效果可能就会变得很差。最后，由于部分运动检测方法实现复杂，要求某位研究者将自己的方法与别人的方法进行比较评价并不现实，早期的研究也只是同混合高斯模型等等简单的方法进行比较[6]。因此建立一个统一客观的标准数据集和评价标准对现有方法进行客观公正的评价对现有运动检测方法的认识、改进以及新方法的提出具有重要作用。最著名的数据集是Wallflower数据集[16]，其他数据集还有IBM数据集[17]，PETS数据集[18]以及近期由Brutzer等人提供的数据集[19]等等，但是这些数据集存在诸如人工合成数据、ground
truth标记不完整等问题。2012年由Pierre-Marc等人发起的第一届运动检测工作组[20]旨在解决上述提到的种种问题，给出了一组数据集CDnet，该数据集分别采用网络像机、专业摄像机、PTZ相机、热成像相机等不同设备针对6种典型环境给出31组近90,000帧测试图像，并有详细的ground truth图像供性能验证使用。另外，[20]给出一个公用平台供不同运动检测研究人员提交自己的测试结果并参照[18]的方法与不同研究组的运动检测方法进行性能比较。

不同方法的测试结果可参看[20]，由结果可看出，相比于简单的欧式距离、Mahalanobis距离等方法，经典的混合高斯模型、核密度估计以及在其基础上的改进方法，近年来由学者提出的方法往往都表现出更好的性能[20]。Maddalena等[21]在基于视觉注意理论的基础上提出一种自组织的背景建模方法，其采用机器学习的方式训练背景模型，针对动态背景等具有挑战性的场景达到了较为理想的效果。Van Droogenbroeck等[22]提出一种称为ViBe的背景剪除方法，相比于其他方法，该方法将每个像素的背景模型建立为一定个数的图像像素的采样值，并通过定义一系列规则初始化、更新背景以及检测前景。ViBe在解决诸如动态背景，模型初始化等方面具有良好的性能，其改进方法ViBe+[23]具有更好的效果。Hofmann等[24]提出一种非参数的背景建模方法，并通过引入控制理论的思想，设计了两个闭环控制器决定前景检测的阀值，该方法在[20]中的6种类别场景的综合性能达到了最好的效果。其他较新的的成果还有Lanza等人[25]的统计方法，该方法通过给干扰成分进行精致的建模等处理方式使其在场景受干扰的情况下比一般方法有更好的性能。Caseiro等[26]基于黎曼几何框架给出一种非参数的张量背景建模方法。Ko等[27]利用图像空间上的邻域信息建立一个扭曲的背景模型，该方法针对背景具有明显运动的情况效果较好，并且计算复杂度较小。

[1] R. Radke, S. Andra, O. Al-Kofahi, B. Roysam.: Image change detection algorithms: A systematic survey. In: Image Processing, vol. 14, pp. 294-307, March 2005.

[2] M. Piccardi.: Background subtraction techniques: A review. In: International conference on Systems, Man and Cybernetics, vol. 4 pp. 3099-3104, October 2004.

[3] D. Parks, S. Fels.: Evaluation of background subtraction algorithms with post-processing. In: International Conference on Adv. Video Signal Based Surveillance, pp. 192-199, September 2008.

[4] Y. Zhou, W. Xu, H. Tao, Y. Gong.: Background Segmentation Using Spatial-Temporal Multi-Resolution MRF. In: IEEE Workshops on Application of Computer Vision, vol. 1, pp. 8-13, January 2005.

[5] A. Schick, M. Bauml, R. Stiefelhagen.: Improving foreground segment with probabilistic super-pixel markov random field. In:
Proceeding of IEEE Workshop on Change Detection, 2012.

[6] N. Goyette, P-M. Jodoin, F. Porikli, J. Konrad, P. Ishwar.: changedetection.net: A new change detection benchmark dataset. In: Proceeding of IEEE Workshop on Change Detection, 2012.

[7] C. Stauffer, E. Grimson.: Adaptive background mixture models for real-time tracking. In: CVPR, vol. 2, pp. 246-252, June 1999.

[8] A. Elgammal, D. Hanvood, and L. S. Davis.: Nonparametric model for background subtraction. In: ECCV, pp. 751–767, 2000.

[9] C. Wren, A. Azarbayejani et al.: Pfinder: Real-time tracking of the human body. In: PAMI, vol. 19, no. 7,pp. 780-785, July 1997.

[10] Z. Zivkovic.: Improved adaptive Gaussian mixture model for back-ground subtraction. In: ICPR 2004, pp. 28-31, 2004.

[11] D. Riahi, P. L. St-Onge, G. A. Bilodeau.: RECTGAUSS-Tex: Block-based Background Subtraction. In: Technical Report, École Polytechnique de Montréal, EPM-RT-2012-03.

[12] P. KaewTraKulPong and R. Bowden.: An Improved Adaptive Background Mixture Model for Real-time Tracking with Shadow Detection. In: proceeding of Workshop on Advanced Video Based Surveillance Systems, 2001.

[13] Y.Nonaka, A. Shimada, H.Nagahara, R. Taniguchi.: Evaluation Report of Integrated Background Modeling Based on Spatio-temporal Features. In: proc of IEEE Workshop on Change Detection, 2012.

[14] N. Oliver, B. Rosario, A. Pentland.: A Bayesian computer vision system for modeling human interactions. In: PAMI, vol. 22, no. 8, pp.831-843, Aug. 2000.

[15] K. Kim, T. Chalidabhongse, D. Harwood, L. Davis.: Background modeling and subtraction by codebook construction. In: ICIP, vol. 5, pp. 3061-3064, Oct. 2004.

[16] K. Toyama, J. Krumm, B. Brumitt, and B. Meyers.: Wallflower: Principles and practice of background maintenance. In: ICCV, vol. 1, pp. 255–261, 1999.

[17] www.research.ibm.com/peoplevision/performanceevaluation.html.

[18] D. Young and J. Ferryman.: PETS metrics: Online performance evaluation service. In: Proc. IEEE Int. Workshop on Vis. Surv. and Perf. Eval. of Tracking and Surv., pp. 317–324, 2005.

[19] Brutzer, S., Hoferlin, B., Heideman, G.: Evaluation of background subtraction techniques for video surveillance. In: CVPR 2011, pp. 1937—1944, 2011.

[20] http://www.changedetection.net/

[21] L. Maddalena, A. Petrosino.: A self-organizing approach to background subtraction for visual surveillance applications. Image Processing, vol. 17, no. 7, pp. 1168-1177, July 2008.

[22] O. Barnich and M. Van Droogenbroeck.: ViBe: A universal background subtraction algorithm for video sequences. In: IEEE Transactions on Image Processing, vol. 20, no. 6, pp. 1709-1724, June 2011.

[23] M. Van Droogenbroeck, O. Paquot.: Background Subtraction:Experiments and Improvements for ViBe. In: proc of IEEE Workshop on Change Detection, CVPR 2012.

[24] M. Hofmann, P.Tiefenbacher, G. Rigoll.: Background Segmentation with Feedback: The Pixel-Based Adaptive Segmenter. In: proc of IEEE Workshop on Change Detection, 2012.

[25] A. Lanza and L. D. Stefano.: Statistical Change Detection by the Pool Adjacent Violators Algorithm. In: PAMI, vol. 33, no. 9, pp. 1894-1910, 2011.

[26] R. Caseiro, J. Henriques, P. Martins, J. Batista.: A nonparametric riemannian framework on tensor field with application to foreground segmentation. In: ICCV 2011, pp. 1—8, 2011.

[27] T. Ko, S. Soatto, D. Estrin.: Warping background subtraction. In: CVPR 2010, pp. 1331—1338, 2010.