基于训练数据的全局优化水下畸变图像复原

本文为针对我所研究的课题水下成像所学习文献的总结，欢迎交流、批评指正。如需源程序、文献等请私信。

 

原文：A Globally Optimal Data-Driven Approach for Image Distortion Estimation（The Robotics Institute, Carnegie Mellon University）.2010 IEEE Computer Vision and Pattern Recognition(CVPR).



注：这篇文献是基于模板匹配去除畸变基础上研究进展，我暂时还有诸多不懂得地方，敬请赐教



  提出的问题

    由于水面波动，对水下静止物体成像会得到带有畸变的图像序列，如下图所示



   常用畸变模型建立方法可分为两大类

  1.generative approach

典型方法是模板匹配，从而判定畸变类型，掌握先验知识，但易陷入局部极小值

  2.discriminative approach

典型方法KNN(K-nearestneighbour)，通过观察值来判断畸变模型，具有随机性，计算量大。

   整体思路

   作者很好地结合了generative approach以及discriminative
approach，提出了基于拉操作（pull-back）的图像复原方法。



    算法流程如图2所示，首先按照一定规律对畸变图像序列进行采样得到很多点，每一点代表一种畸变模型，并通过model-tracking的方法（参见我的文章），对其进行畸变模型建立（这一过程是十分费时的），作为先验知识。然后，针对要处理的图像序列，找到与其相似度最高的点，做其相应的去畸变操作，得到新的点。再重复以上操作，通过不断迭代，最终收敛到复原图像。

    处理过程包括匹配相似度最高点（generative approach）以及“拉操作”复原，但在复原过程中，不用再重新计算畸变模型（discriminative
approach耗时的原因），有效的结合了两种方法。

    收敛性问题：两个条件

    假设：对于对于同一物体的两幅畸变图像Ip和Iq，即使它们的畸变参数不同，去除畸变参数也不同，但是它们共享信息很多。使用Iq的去畸变操作于Ip（写作G(Ip,q)），同样可以使得Ip减少畸变程度，在原文中有数学证明。

  （1）每一种畸变模型与一对参数一一对应，并且该函数的表示的平滑的。

  （2）样本数据在靠近原点处分布的更加密集，远离原点处稀疏。

     即在训练样本中，畸变较小的数据占大多数，畸变较大的数据占较小数，并且不能超过一个范围，如下图所示。



   

   所需训练样本数目



    所需样本数目是三个参量的函数，这三个参量分别代表：预测畸变模型的准确度、表征畸变函数的参数以及表征数据采样模型参数。

    实验结果

     
对确定的水体条件，样本数据N=1000，使用10幅作为测试。与K-NN算法做性能对比，如下图所示。



    从上图可以看出，a)表示随着叠加次数增加，结果是收敛的b)表示与NN算法相比，最终结果的误差更小，尤其是在样本容量较大时c)表示当样本数据更接近原始点时结果误差更小，d)反之误差加大e)表示当使用多临近预测时所需样本数量更小
  
   实验主观效果如下：