CVPR 2017—Deep Joint Rain Detection and Removal from a Single Image

CVPR 2017

https://arxiv.org/abs/1609.07769?context=cs

代码和模型会公布的。

去雨指的是：对于一张雨中的图片，去除画面中的雨滴，得到还原后的图片，与图片去雾、超分辨率等同属CV领域中图像处理的范畴。去雨作为一种偏向low level的图像处理，本质上是分离图片中的内容与叠加的雨滴模式，并加以去除。这一问题以往多采用字典学习、稀疏编码等方法加以建模。



针对去雨问题已经提出了各种算法，当前算法主要存在的问题如下：

1）因为雨水和背景纹理的内在重叠性，当前大部分算法会平滑没有雨区域的纹理细节。

2）雨水在图像中引起的变化是复杂的，但是当前对雨水常用的模型没有很好的覆盖真是雨水图像中的一些重要因素， 例如水气，雨水的不同形状，或方向。

3） 一个重要的信息： spatial contextual information 没有被考虑。

为此我们提出了一个新的模型用于去雨,思路大致如下：

1）首先我们提出了一个基于区域的雨水模型，在模型中我们使用了一个二值雨水图，如果该像素位置有可见雨，那么二值图中的值为1，否则为0。

2）基于上面建立的模型，我们构建一个深度网络用于检测雨水和去除雨水。我们可以自动检测出雨水区域，对这些区域进行雨水去除。

3）提出了一个回归雨水检测去除网络，a recurrent rain detection and removal network

3 Region-Dependent Rain Image Model

3.1. Region-Dependent Rain Image Formation

常用的雨水模型如下：



这里 B 是 没有雨水的图像， S是 rain streak layer 雨水层， O 是有雨水的图像。基于该模型，去雨水被看做是两个信号的分离问题，基于观察到的 O 恢复 B 和 S。这个模型有两个问题：1）没有区分对待 heavy rain 和 light rain，2）没有区分对待 rain and non-rain regions。

针对上述问题，我们提出了一个广义的雨水模型如下：



引入的 R 是一个二值图，1表示该位置有雨，0 表示没雨

3.2. Rain Accumulation and Heavy Rain

针对雨雾和问题，我们提出了下面的模型来解决：



上式中每个 St表示雨纹相同即方向和形状类似。t is the overlapping streak numbers， 表示图像中含有的雨纹个数，即方向和形状类似种类，其中B是原图，O是带雨的图片，其他的量代表雨滴带来的影响。S指叠加的雨滴的强度，R指含雨滴范围的一个 binary mask，A对雨雾进行建模。之所以将S、R分别描述并分别用网络预测，是为了避免只回归S影响了图中不含雨滴的部分，R实际上描述了雨滴存在的区域，这也是标题中rain detection的含义。S、R预测的例子可见下图。t指的是图片中多个方向的雨叠加的效果，训练所用的合成雨的图片就是多次叠加的结果。最后A描述了一个图像整体的偏移，这是由大雨中远处大量雨滴叠加造成的类似雾的效果，实际算法中也用了去雾算法做处理。



在训练时作者使用了多分支的dilated convolution网络，以在节约计算量的同时扩大网络的感受，也获得更多的context信息。网络级联地预测S和R，在训练时都提供loss，在测试时得到S、R后，按之前的模型进行去雨处理。在实际实验中还发现采用去雨1次 – 去雾1次 – 再去雨1次的流程得到的结果是最好的。
此外两篇文章在训练数据和测试方法上都是沿用之前工作的方法。训练数据都是使用不带雨的图片人工合成带雨的图片，并从图中抽取patch进行训练。在测试流程上，对于合成图片，主要比较衡量图片结构相似度的SSIM指标。对于真实环境的带雨图片，主要是视觉上的qualitative比较。
对于去雨算法的应用领域，join detection论文作者表示，主要可以用于监控视频、比赛视频等场景中，需要增强画质的时候应用。此外deep detail论文的作者还表示，他们的框架在其他画质增强的应用实验中也得到了不错的效果，包括透过玻璃观看景物而玻璃上有大量雨滴等情形。

4 Convolutional Joint Rain Detection and Removal



首先整个网络是一个闭环反馈网络，通过闭环反馈可以去除 heavy rain。

上图中的 contextualized dilated network 通过不同的 dilated factor 获取 contextual information，首先通过一个卷积层将输入图像转到特征空间去，再经过三个具有不同的 dilated factor 的recurrence，最后综合所以的输出得到 rain feature F，通过两个卷积层估算 R，对[F,R]使用一层卷积预测 S，最后通过一层卷积计算 B