Efficient Video Segmentation using Parametric Graph Partitioning阅读笔记（1）

Efficient VideoSegmentation using Parametric Graph [b]Partitioning[/b]

（基于参数图划分的高效视频分割）

       

       本篇博文要讲解的是来自International Conference on Computer Vision（ICCV）2015国际计算机视觉大会上的一篇经典Paper《Efficient
Video Segmentation using Parametric Graph Partitioning》，原文的链接地址Paper。

       现如今，在计算机视觉领域视频分割技术已经愈发重要，它是对时空域中相似像素进行分组的任务，成为后续视频分析的重要预处理步骤。大多数视频分割和超体素方法输出分段的层次结构，但是这提供了有用的多尺度信息，同时也增加了为任务选择适当级别的难度。针对这一问题，作者提出了一种基于参数图划（PGP）的高效和可靠的视频分割框架，该框架是一种快速，几乎无参数的图形分区方法，用于识别和删除簇间边缘以形成节点簇。除了计算率之外，PGP执行空间—时间卷的聚类，而不需要预先指定的簇号或带宽参数，从而使视频分段更适于应用。
PGP框架还允许处理子卷，这进一步提高了性能。

1 Parametric Graph Partitioning（PGP）简介

       图像分割是一个成熟的领域，分割方法的输出用于对象检测和分割，语义理解，阴影检测等。它开始于几个开创性的工作，集群
具有类似强度和/或颜色特征的像素组成，并逐渐转移到具有类似低级特征的聚类超像素。由于视频数据的处理成本较高，视频分析的重要性越来越高，因此需要高效的视频分割。视频分割方法一般尝试在时空设置下将相似的像素聚类在一起，方法是通过生成一组分层分割的方法（从非常详细到较粗略的），或者通过分组超像素
一起形成时空超像素或超体素。 后一种方法在计算上显着更有效，尽管不太准确。 在本文中，我们提出了一种“超级像素分组”方法，将现有技术的最高级别提高了30％，大约是20倍。
        PGP是一种图形分割方法，可以在不需要用户指定集群数量的情况下进行聚类，也可以在平均移位中进行搜索窗口参数。该方法通过图形的边缘权重（每个特征类型一个模型）优化了一些双组分参数混合模型。
通过在这些混合模型上执行推理，将边缘双分割成集群内群集和簇间群组。 因此，可以识别和去除图形的簇间边缘，以便以有效的方式创建可变量的孤立簇（参见[33]）。这些集群中的每一个对应于3D视频段。 可以安全地假设基于Lp范数的相似距离统计通常是Weibull分布[1]。
基于这一观察，先前的方法产生了高质量的单一图像分割结果和分段的连续图像区域[33]。 使用PGP有很多优点：

PGP在计算上有效率; 其运行时间在超级像素数量上是线性的。 这特别适用于处理视频等大数据。
PGP是一种单程算法，可以产生非分层结果，无需选择合适的层次结构。

2 主要思想及架构

      本文的主要思想首先从视频构建时空超像素图（虚线表示时间连接）。然后对于边缘权重通过Weibull分布的混合来建模，分别为单个特征计算。混合模型生成关于集群内和集群边缘的信息（集体内边缘以粗体显示）。簇间边缘被丢弃，其余的每个超像素组成为最终的视频段。本文通过PGP算法对SegTrack
v2和著名的Chen Xiph.org数据集进行了大量的定量评估，表明该方法在大多数3D度量标准中显著优于相关的最先进的方法。图1给出了PGP算法的整体架构。



                                                                                                                                 图1 PGP方法总览

3 主要贡献

    （1）一种新的通用图形划分算法，需要的特征向量之间的差异是相关和非恒等分布。

       （2）一种高效且可靠的视频分割方法，可输出单个分割图。使用PGP来划分时空超像素图，PGP模型参数化了感兴趣特征的相似距离统计。 在本文中，它们指：强度，色调，ab（来自Labcolorspace），运动（光流）和梯度方向，将这些线索与自适应特征加权方案相结合。

       （3）对两个广泛使用的基准视频数据集进行了大量的评估和与先前最先进的方法的比较。PGP视频分割方法使用不到1/20的计算时间和内存，在8个总体评估指标中的7个中显着改善了最先进的技术。

4
后续内容

      后续，我将完成以下工作：
       （1）描述PGP方法的细节和适应性；

       （2）介绍作者使用SegTrack v2 和Chen Xiph.org数据集进行的一系列实验和定量评估结果；
       （3）简介本文的工作情况。
        俗话说，好菜不怕晚，后续我将和大家一起探讨这篇Paper的实现细节，一起在计算机视觉的研究中共同进步，我的Weibo将和大家一起分享计算机视觉与机器学习方面的心得体会。