《Close the Loop: Joint Blind Image Restoration and Recognition with Sparse Representation Prior》阅读笔记

1. 论文主要思想

这是一篇关于模糊人脸图像识别的文章，作者将基于最大后验估计的去模糊模型以及稀疏表示分类模型紧密结合起来，同时实现了对模糊人脸图像的去模糊和识别。

对于模糊图像识别这一问题，最直观的解决方案就是：先利用图像复原技术从模糊图像中恢复出清晰图像，然后对清晰图像进行识别。但是这种直观的解决方案存在以下缺陷：①很多图像复原的方法的目的都是为了提升人眼对图像的感知，而不是提升机器（识别算法）对图像的感知，因此先对图像进行恢复，并不能保证识别率会提升；②如果模糊的图像的降质类型未知，那么对于那些不具有丰富边缘的图像，比如人脸图像，通用的图像恢复手段，如去模糊，就很难取得好的效果，可能还会引入严重的人工痕迹。另外一种用于解决模糊图像识别的方案是：先从模糊图像中估计出降质模型，然后用估计出的模型生成与待识别模糊图像具有相同降质类型（模糊类型以及模糊程度）的训练库，最后基于生成的训练库生成分类器，从而实现对模糊图像的识别。这种方案取得的效果通常要优于第一种方案，但是通常情况下，自然场景中的模糊图像的降质模型很复杂，因此很难估计出正确的降质模型。

以上两种解决方法都是将去模糊或模糊核估计模块与识别模块分成独立的两个部分，那么在对模糊核进行估计或者去模糊时没有考虑识别对于图像恢复的影响，很难实现对真实的模糊核的估计。众所周知，如果能够成功地从模糊图像中恢复出清晰图像，那么就能够很容易地获取正确的识别结果。同样的，如果预先知道模糊图像所属的类别，或者输入的模糊图像附带着类别标签，那么也能够很容易地恢复出清晰图像，最简单的一种方法就是直接从对应类别的清晰样本库中挑选出一个清晰样本作为恢复结果，或者将多个对应类别的清晰样本的加权组合作为恢复结果。如果能够将图像去模糊与图像识别紧密联合起来，令去模糊和识别相互影响、相互促进，那么就可以同时取得良好的去模糊效果以及识别效果。

那么可以将稀疏表示分类模型和基于最大后验估计的盲去模糊模型紧密联合起来，以同时实现对模糊人脸图像的去模糊和识别，其中分类模型使用的字典由清晰人脸图像生成。所建立的模型具有以下两个特性：其一，模糊人脸图像的逐渐复原使得该图像所属类别对应的子字典能够更好地表示该图像，从而导致该图像基于整个字典得到的表示系数越来越稀疏，有利于得到正确的识别结果；其二，人脸图像对应表示系数的逐渐稀疏，代表着模型对输入人脸图像的识别能力在提升，这意味着去模糊模块正在朝着正确的方向收敛，从这个角度来讲，整个识别模型其实可以看作一个去模糊模型，而稀疏表示分类模型其实就是去模糊模型中的基于清晰图像先验的正则化项，它可以使得去模糊模型有效地从解空间中找到潜在的清晰图像和模糊核。

所建立的联合图模糊以及识别模型（JRR）可以用如下公式描述：





未完待续