TLD动态跟踪系统中的学习策略—P-N Learning

1概述

本文显示二类分类器的表现可以通过未标记数据结构化的处理过程来提升，也就是说，如果知道一个样本的标记对其他样本的标记有限制，那么认为数据是结构化的。

本文提出P-N learning 用已标记和未标记的样本来训练二类分类器，训练的过程通过用来限制未标记数据集的“正约束”、“负约束”来指导。每次迭代过程中P-N learning在未标记的训练集上评价分类器，识别那些分类器分类结果与结构约束相抵触的样本，然后增加修正过标记的样本到训练集中。文中还提出了一个理论用来阐述P-N learning提升了初始分类器的性能，并在人工合成和真实的数据上进行了验证。

P-N learning被应用到跟踪过程中目标检测器的在线学习中，文中展示一个精确的目标检测器可以从单个样本和一个可能出现目标的视频序列中训练得到。

本文的贡献：在离线、在线学习问题中公式化（formalize）P-N learning模式。

2本文的基本概念和方法：

半监督学习（semi-supervised learning）: 近来研究的兴趣点在于半监督学习，在分器训练时，开发已标记和未标记数据的信息。已经被发现的是，加入未标记数据的信息能够有效地提高分类器的性能。观察得到的结果是，采用独立的测度而不是分类器本身的置信度来选择分辨未标记的数据会使得检测器的得到更大的改善。

结构化（structured）:，在计算机视觉研究中，由于时空上的关联，数据基本不可能是独立的。标记信息有依赖关系的数据称为结构化（structured）的数据，即如果知道一个样本的标记对其他样本的标记有限制，那么认为数据是结构化的.



约束（constrains）:本文中提出了一种新的从结构化的未标记的数据学习的方法。数据中的结构是通过所谓的“正结构化约束”、“负结构化约束”开发出来的，这些约束强制赋予未标记的样本集确定的标记。

正约束指定符合约束条件的样本正标记，负约束指定符合约束的样本负标记。

正负约束平行使用，文中证明了正负约束结合能够相互补偿它们各自的错误。

这些约束在整个未标记样本集上运行，所以获取的信息不同于只在标记样本上运行的分类器。

学习策略：少量的标记样本和大量的结构化未标记样本产生以下的学习策略：

（i） 使用标记的样本训练一个初始分类器，根据标记的数据调整预定义的约束。

（ii）根据初始分类器标记未标记的数据，再重新识别那些已经被标记但是与约束条件相抵触的样本。

（iii）改正这些样本的标记，并加入训练集，重新训练分类器。

本文将这一分类器自展过程（bootstrapping process） 称为P-N learning:

3从视频数据中在线学习目标检测器：

Strategy: we consider type of real-time detectors that are based on A Scanning Window Strategy.
The input image is scanned across position and scales, at each sub-window a binary classifier decides about presence of the object.

The Randomized Forest Classifier: consists of a number of ferns (simplified trees)



每一个fern在输入的patch上进行一系列的计算产生指向特定叶节点的特征向量，计算得到后验概率Pr(y=1|xi).

每一个叶节点记录了所有在训练过程中最终进入它的正样本数p，负样本数n，通过最大似然估计（maximum likelihood estimator）计算厚颜概率Pr(y=1|xi) = p/(n+p),如果叶节点是空的话，则设为零。

Features: 2-bit Binary Patterns.



这些特征在一个确定的区域内测量方向梯度，并且量化产生可能的编码。2bitBP受到标准LBP的启发，又不同于LBP，LBP编码周围3*3的像素并通过编码的分布来表示一个特定的区域的信息，而2bitBP只通过单一编码来描述一个区域。正因为如此，LBP需要8bit(256
codes)，而2bitBP只需要2bit(4
codes)。

在第一帧中初始化分类器，将选中的图像块进行仿射变换产生300个正样本训练初始分类器。将分类器在全图上进行评估，将远离目标位置的检测目标作为负样本更新初始分类器。用这种方法提取负样本是基于 pr(y=1)>>pr(y=-1).

采用的约束（constraints）:

目标数据结构化的时空信息集中体现在目标轨迹上，当确认是正确的轨迹后，约束条件才可靠有效。

(i) 定义跟踪器的置信度为跟踪的图像块与第一帧选中的图像块之间的NCC(normalized cross correlation).

(ii) 如果轨迹的最后一帧的置信度高于80%，则这一轨迹是正确的轨迹。

(iii) 在正确轨迹的基础上应用P-N constraints.

参考文献：

[1] P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints (2010_CVPR)

Zdenek Kalal University of Surrey etc.

[6] Forward-Backward Error: Automatic Detection of Tracking Failures (2010_ICPR)

Zdenek Kalal University of Surrey etc.