MPEG-4中的视频对象检测技术研究

MPEG-4中的视频对象检测技术研究

万　旻1，郭宝龙1，刘小丁2

(1．西安电子科技大学机电工程学院　陕西 西安　710071；2．陕西人民广播电台　陕西 西安　710068)　
　
摘　要：标准中，如何从视频图像分割出视频对象是一个要解决的重要问题。本文依据视频图像的特点，提出了一种新的视频对象检测方法，他能有效抑制视频图像边缘检测中噪声干扰、控制图像外轮廓检测范围和检测精细度，使断裂的外轮廓有效闭合。该方法具有对噪声不敏感、分割准确、外轮廓完整、运算速度快等优点。最后，给出了实验验证。
　　关键词：抑制干扰；视频对象；边缘检测　　

Research of A Video Object Detection Method in MPEG-4
WAN Min1，GUO Baolong1，LIU Xiaoding2

(1．Schoolof ElectromechanicalEngineering，Xidian University，Xi′an，710071，China；2．Shaanxi People′s Broadcasting Station，Xi′an，710068，China)

Abstract:It is an important problem that how to extract meaningful from image sequence in MPEG -4.A new video object detection method is presented，which resolves denoising according to the time correlation of noise in image sequence，controlling the detection field，refining the image contour and connecting the broken detected contour．The method is properties ofnoise insensitivity ，detection precision，contour integrity and high calculation speed．At last，the author gives the experiments results for validation ofthe algorithm．
Keywords:barrage jamming; video object; edge detection; MPEG-4

1　引　言
　　在MPEG-4[1]中，基于内容的视频交互活动是以视频对象为基本单位进行的，即视频对象提取(分割)是其中的关键技术；如何有效地提取视频对象却是长期没有解决的难题之一。
　　对象分割算法大致分为两类：一是基于图像区域合并的方法；二是基于对象外轮廓的方法。前一类有区域生长、MAP(最大后验概率)合并［2］、基于运动参数合并［3］等。后一类如顾创等人的Watershed分割算法［4］、主动外轮廓算法(Active Contour)和Snake算法［5］。
但以上算法都有如下缺陷：
　　(1)抗噪性能差，使算法的分割效果受噪声环境影响严重。
　　(2)缺乏一种根据实际情况控制检测精度的机制来灵活处理好算法精度和运算速度之间的矛盾。
(3)断裂外轮廓闭合后与真实外轮廓的失真严重。
　　本文综合考虑：根据目标与背景的差异，视频图像的特点及断裂外轮廓之间的相关性提出一种MPEG-4这种算法的优点如下：
　　(1)噪声去除比较彻底。以前的去噪方法都是把图像噪声仅仅看成静止图像噪声，而本算法中把噪声的时间序列特性考虑进去，提出三帧后序噪声对消去噪法，然后通过中值滤波过滤掉奇异噪声，使图像中的噪声去除比较充分。
　　(2)算法具有良好的适应性，提出了一种结合外轮廓模板的检测外轮廓的精细化算法，在外轮廓线上尽量不引入噪声的情况下，实现了外轮廓检测的可分级性，合理地解决检测精度和算法速度这一对矛盾。　　
(3)最短连线法对断裂外轮廓闭合的鲁棒性好，能确保得到闭合的单象素外轮廓。
　　(4)算法仅涉及的差分、中值滤波、数学形态运算等几种简单运算，所以算法简单高效，占用内存少，且可以并行优化。
(5)从MPEG-4视频流中提取视频对象经过：去噪后检测目标运动区域、图像外轮廓精细化、断裂外轮廓连接3个步骤。

2　运动区域的检测
2．1　图像差分噪声的消除
　　我们认为一帧图像I(t)由图像信号S(t)和干扰信号N(t)组成。即：



　　又假定任意给出等间隔视频序列中三帧接续的图像序列I(k－1)，I(k)，I(k＋1)，(k＞1且为自然数)，且Δt为视频序列时间间隔，ΔS为接续帧之间信号差分量。结合式(1)有构造式：



由于运动目标的差分信号量随着时间增长是积累的，而干扰信号是随机连续的，且在一般视频序列的极短的时间间隔内(一般为1/25 s)，干扰信号可以认为是极其相似的。经过式(2)变换表明视频序列经过如此组合处理之后，可以最大限度的保留下图像序列的差分信号3ΔS和抑制图像中的干扰信号。三帧各种组合顺序的试验效果，总结如表1所示。





　　应用3种排序去噪后，用Canny算子对差分图像的边缘检测得到的结果对比如图1所示。通过实验结果对比表明，后序去噪的效果最好。利用三帧后序对消法可以抑制图像中绝大部分近似加性干扰信号，但是得到的差分图像中还有一些奇异噪声，再通过中值滤波去平滑图像。




2．2　运动边缘检测
　　运动边缘检测常借助空域微分算子进行，通过将其模板与图像卷积完成。2个具有不同灰度值的相邻区域之间总存在灰度边缘。灰度边缘是灰度值不连续(或突变)的结果，这种不连续常可利用求导方法检测到。本文采用边沿检测最优算子算子［7］进行运动边缘检测。Canny把边缘检测问题转换为检测单位函数极大值的问题，他是根据图像大小自适应调整检测边缘的域值大小，所以图像外轮廓检测的精细程度和图像检测范围有关。

3　图像外轮廓的精细化
　　基本思想：通过已提取的外轮廓形成新的粗略模板抑制外轮廓附近的噪声，然后利用将图像分块的方法对图像的局部细节进行提取，以使外轮廓精细化。
3．1　形成粗略的检测模板
用边缘产生检测模板的方法如下：
　　(1)逐行扫描，记录每一行第一个非零点和最后一个非零点，然后对列进行同样的扫描操作，这样得到了0°和90°方向的两条外轮廓线，然后将2次得到的外轮廓线加以迭加就得到运动区域的边缘。
　　(2)在一行中遇上第一个非零点，即从此点向后将模板置1，至此行最后一个非零点。逐行做之字型扫描，直至最后一行结束。
　　(3)采用数学形态学中先膨胀后腐蚀的方法来弥合模板。
3．2　边缘外轮廓的精细化
　　通过分块检测的方法，能够更有效检测出更加精细的外轮廓，检测的程度由分块的大小来控制。同时也会带来2个问题：
(1)非目标区域噪声会干扰目标外轮廓的检测。　　
(2)分块会带来分块效应，使块与块之间会有明显的分块痕迹。
　　针对第1个问题，采用先前得到的粗略模板与差分图像进行与操作，尽量把非目标区域的噪声对边缘外轮廓检测的影响降低到最低；对于第2个问题，通过为每个图像块增加额外的行和列，使各个图像块之间有重叠，对于超出图像范围的部分进行补零。这样可以消除分块效应。
3．3　外轮廓的渐进精细
　　图像外轮廓的循环渐进精细的过程如图2所示。通过这种循环，每次循环的膨胀腐蚀的次数都比上一次少，分的图像块的规格也比上一次小，这样既保证了尽可能只对目标外轮廓进行分割，又保证了对目标区域尽可能多的检测出外轮廓。这种循环过程是收敛的，可以跟据实际外轮廓的要求和系统的运算速度来控制什么时候结束循环。在实验中把外轮廓精细到断裂不超过2个象素终止。





总之，通过采用检测模板缩小检测范围、分块检测控制检测外轮廓的精细度，这样既可以提高检测精度和计算速度又可以控制算法复杂度。
4　断裂外轮廓的连接
　　无论采用何种方法检测外轮廓，都不可能得到完全封闭的外轮廓，所以有必要对外轮廓的断裂边缘加以连接。假设一幅图像中，欧式距离最近的两个断点具有最大概率的可能性相连，所以本文提出了基于最短距离的轮廓连接法。他的基本思想：先找出断裂点，对指定区域(限定区域是为了加快搜索速度)的断裂点之间的距离进行计算，求出最小的断裂点对，用直线连接，平滑后即得出完整的单象素外轮廓。其原理框图如图4所示。



框图解释如下：
　　(1)外轮廓平滑使用的是对外轮廓先膨胀再收缩的方法。
(2)检测外轮廓的方法同本文前述方法。
(3)点的度是指一个与此点相邻的点数。
　　(4)连线方法是利用直线方程，用两点连线的较长的那一维坐标值为自变量求另一维的坐标值，这样可以保证画出的直线较平滑，不成锯齿状。
(5)图像的搜索顺序是从图像左上角开始，依之字形逐行扫描到文件的结尾，这样能保证还未连接端点的度，没有因为前面的连线操作而改变。
(6)检测模板是由外轮廓线填充得到的。　　
(7)原始图像与检测模板进行与操作就可以检测出目标。
算法中应该注意的问题：
　　(1)算法中的极端情况要分类处理：搜索时：当搜索块落在图像的边缘的情况(共有8种)，为防止搜出图像范围，应对边界上的搜索块适当加以修改；连线程序中注意水平线和垂直线的特例。
　　(2)在搜索完一遍后，每一个端点的度都在动态改变，由此可能产生环状、树枝状等各种不可预料的形状，还会产生新的端点，所以通过重新检测外围外轮廓线去除由此产生的各种非线状形态，然后再次连线，直到再也找不到度为2的点时终止。
　　(3)搜索块的大小是根据断裂的情况设置的，其门限为最大断裂间隔的两倍长度。本文采用64×64的块搜索，也就是图像中外轮廓的最大断裂不能超过32个象素。基于最短距离连线的算法效果如图5所示。



　　图5中(a)为原始图像；(b)为检测出的断裂外89轮廓；(c)为用基于最短距离连线法产生外轮廓线；(d)为用外轮廓线检测出的视频对象目标。从效果来看，检测出的外轮廓是一条单象素连续且较为平滑曲线，与真实外轮廓相比失真度小，对检测目标检测精度高。

5　算法评价
　　本文全部程序如采用Matlab 6．5仿真，操作平台Windows 2000，CPU是P1．7，内存为256 M，程序运行时间12 s。在实际系统中采用硬件辅助实现，运算时间可以降低至45 ms，达到实时分割的效果。其实际系统性能指标是：视频图像延迟：τ＝45 ms；相对未被污染的视频图像，处理后视频图像信噪比下降幅度不大于0．1 dB；相对未被污染的视频图像，处理后视频图像分辨率、灰度动态范围不变，图像中目标与背景对比指标不变；相对未被污染的视频图像，处理后视频图像灰度变化不大于10％；
　　综上所述，这种中的视频对象检测分割法算法具有对噪声不敏感，分割准确，外轮廓完整，运算速度快的优点，他还可以在运动矢量、多目标检测、运动背景等几个方面加以进一步改进。

参考文献


［1］ISO/IEC JTC1/SC29/WG11 N4668 March［S］．
［2］Paragios N，Tziritas G．Adaptive detection andlocalization of moving objects in image sequence［J］．Signal Processing：Image Communication．1999，14(4)：277-296．
［3］Nguyen HT．Detectionofmoving objects invideo using a robustmotion similarity measure［J］．IEEETrans．Image Processing，2000，9(1)：137-140．
［4］Chuang GU，Mingchieh L．Semiautomaticsegmentation and tracking of semantic videoobjects［J］．IEEETrans．Circuits and Systems for Video Technology，1998，8(5)：573-579．
［5］Toklu C，Tekalp AM．Semi-automatic videoobject segmentation in presence of occlusion［M］．IEEE Trans．Circuits and System for Video Techology，2000，10(4)：624-629．
［6］Yaakov T，AmirA．Automatic segmentation ofmoving objects in video sequences：a regionlabeling approach［J］．IEEETrans．Circuitsand Systems for Video Technology，2002，12(7)，19-25．
实验结果如图3所示，通过实验结果可以看出，尽管随着分块的变小，图像外轮廓内部中引入了大量噪声，但是由于粗略模板的使用，在目标的外轮廓线上的噪声得到了明显的抑制且外轮廓的细节更丰富。