论文解读之Perceptual Losses for Real-Time Style Transfer and Super-Resolution

论文名称：Perceptual Losses for Real-Time Style Transfer and Super-Resolution

来源： CVPR 2017

这是一篇提出一种创新loss处理方式的论文，用来证明结果的实验有2个，分别为图像风格转换和超分辨率，本文中只针对超分辨率进行比较

首先，作者提出，超分辨率、图像风格转换、去噪其实都可以归类为 image transformation任务，然而，目前这类任务的loss都是MSE loss，与之相对的，作者提出了一种新的loss来解决此类问题，即为 perceptual loss

图像感知损失其实并不陌生，GAN就是如此，利用感知loss产生的结果更符合人的审美和感知（但是psnr不高）。

作者的网络结构如下图所示：



首先，input图像进入 image transform Net，图像转换网络只是一些卷积的堆积，利用的残差学习和跳跃链接，

重点在于之后的perceptual loss, perceptual loss由一个loss network产生（作者采用了VGG16），感知损失的计算是将image transform net的output与input都输入loss network，output和input进过loss network的处理后进行计算，公式如下：



其中，y'是图像转换网络的输出，y是图像转换网络的输入，将二者输入loss network处理后计算loss

结果如下



可以看出利用perceptual loss的输出更符合人的感知需求（但是psnr较低）