Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization

• Abstract
• Introduction
• Method
• something more

Abstract

提出泛化性较强的去噪结构和一种迁移学习策略。用自适应实例规范化（Adaptive Instance Normalization）来搭建去噪器，可以约束feature map，防止网络过拟合。

Introduction

先分析了正则化和迁移学习的影响，用下面的回归图像说明。

第一张图表示的时训练和测试图像用的是AWGN，绿色的线是没有正则化的，红色的线是有正则化的，w/o正则化会过拟合训练数据，导致均方差较大。b图展示了真实噪声的分布情况，c图则利用了少量真实噪声样本来进行迁移学习，来将第一张图里的曲线拟合到第二张图的真实噪声中。

Method

提出的网络结构如下：

迁移学习包括两个阶段：先用综合噪声训练出原始denoiser，然后利用迁移学习再训练denoiser。
首先是噪声估计器的改进，指出之前的CBDNet等采用的噪声估计网络估计不准，指出问题在于感受野不够大，于是采用上下采样的多尺度方法来得到估计，噪声估计为大尺度和小尺度两个噪声估计的加权，对小尺度图像进行线性插值得到。

其次是AIN自适应实例规范化，可以把AIN看作一个通道增强操作，本质上是一个大卷积，先将前一层进行Instance Norm逐通道归一化，然后仿射变换的参数由map决定。这个AIN层从某种角度上可以看作是attention机制的应用。

之后是迁移学习，即采用真实噪声数据集来在原始训练好的模型基础上进行更新，这里的迁移学习在实验部分分析了两种，一种是所有块都进行了改变，另一种是固定部分卷积层，重新训练其他层。

网络的loss分为俩，一个是图像l1 loss，另一个是map的非对称loss，这个非对称和CBDNet的区别是CBDNet只有一个尺度，这里是多个尺度加权。在迁移学习时loss为只有图片的loss。

something more

在我自己的研究中目前正在进行一个对比分析，sigma map究竟对整个网络的影响有多大，单纯的sigma map融合训练对整体性能的提升的确不太明显，VDN中也有提到这个问题。AINDNet里的sigma map的有效性我觉得是在于对sigma map的反复利用上，利用sigma map来计算AIN的参数，这个操作让网络学习到更多的sigma map的空间信息。
还有一个思考是，这个sigma map利用有监督的学习和无监督学习的效果之间的对比，目前我自己的方法中采用无监督学习，作为网络的一部分，让网络自己学习的效果比有监督学习效果更好一些，也可能是因为sigma map所设定的ground truth对网络帮助不够大。