【学习笔记--视频拼接】如何提高计算效率 part_1

学习paper:

“Fast stitching of videos captured from freely moving devices by exploiting temporal redundancy”

by M. El-Saban, M. Izz and A. Kaheel,

影响视频拼接的关键问题：时间冗余、拼接中特征检测匹配占用时间超过80%

解决方法：利用temporal information减少计算时间

输入：2路 相机位置自由移动

提高计算效率的三种方法：

（1）利用前帧的重叠区域

（2）使用Motion vector计算变换

（3）跟踪前帧的感兴趣点(Interest Points)

将当前帧标记为n，之前的帧标记为n-1

（1）当前帧的特征检测在与前一帧的重叠区域内进行 缓冲区大小20pixel（经验

值）。效率与重叠区域大小成反比。

（2）基本思想：使用IP（感兴趣点）的全局运动估计，降低新的变换矩阵的计算。

用匹配对计算motion vector改进：

a)使用第一帧计算motion vectors，用于其他帧

b)限制创建的描述子数目



参考： “A Fast Video Stitching Method for Motion-Compensated Frames in Compressed Video Streams”

（3）使用光流法 追踪IPs（Interest Points）

目的：减少IP检测与描述

方法：使用LK光流法跟踪N-1帧，得到N帧的location，利用背景信息得到更稳定的拼接。

IP滤波：通过计算所有IP的2D运动参数的平均，然后删除落在dxdy均值2σ外的IP， 得到2D全局运动（dx,dy）

缺点：忽视光照、3D视点的变化

实验结果：



比较recall值与precision值。SURF+Optical Flow的效果最好。

那么什么是recall与precision呢？

参照：http://blog.csdn.net/pirage/article/details/9851339



应用于这里，我的理解是：
recall（查全率）：被检测到的有效特征越多查全率越高

precision（准确率）：准确的配准的特征点对的越多，这是追求“准确率”

错误分析：

这篇paper里的拼接错误分为两大类：recall-type 和 precision-type

（1）recall-type

a) 几何校准（geometric alignment）：重叠区域小、纹理细节不够、相机间3D视点变化、压缩失真等

b) 融合错误：超过总错误率的30% ，采用融合方法为FEATHER

（2）precision-type

少(<5%) 匹配对中存在相似的特征