您的位置:首页 > 大数据 > 人工智能

论文阅读《EdgeConnect:Generative image inpainting with Adversarial Edge learning》

2019-04-24 16:36 3859 查看

摘要

在过去几年中,深度学习技术在图像修复方面取得了显著进步。然而,许多这些技术无法重建合理的结构,因为他妈通常过度平滑和/或模糊。所以本文开发了一种两阶段对抗模型,包括一个边缘生成器后面跟一个图像填补网络。边缘生成器使图像的确实区域(规则和不规则)的边缘产生幻觉,并且图像完成网络使用幻觉边缘作为先验填充缺失区域。

介绍

传统的图像修复基于两种:基于扩散或基于补丁。基于扩散额方法通过遵循通常使用微分算子(笔者不懂)建模的扩散过程将北极数据传播到缺失区域。基于补丁的方法则使用源图像中的补丁填充缺失区域,以最大化补丁相似性。
然而这些方法在复杂的细节方面表现不佳。
那么如何菜鸟强制图像修复网络来生成精细的细节呢?由于图像结构在其边缘掩膜中得到很好的表示,所以,重点来了,作者表明通过调整缺失区域边缘上的图像修复网络可以产生出色的结果~~~~~。。。。。。但但但是,很显然,我们没办法访问缺失区域的边缘。所以作者训练了一个边缘生成器,来使得这些区域的边缘产生幻觉(产生幻觉,这表达。。)
所以作者的贡献有三点
(1)边缘生成器能够在给定边缘和图像其余部分的灰度想读强度的情况下使缺失区域中的边缘产生幻觉。
(2) 一种图像完成网络,它将缺失区域中的边缘和 图像其余部分的颜色和纹理信息相结合,来填充缺失区域。
(3)端到端的可训练网络。结合边缘生成和图像完成填补缺失区域。展现精细细节。
输入三通道图片,然后一个edge generate 生成器幻觉边缘,接着再进行补全。两个生成器网络类似,先是网络层先下采样,然后接着是八个空洞卷积和残差块,其次再是接着上采样。

下面来谈谈图像修复的一些发展,为图像修复的第一个深度学习方法是上下文编码器{38},它使用编码器-解码器结构,编码器将具有缺失区域的图像映射到低维特征空间,解码器使用该低维特征空间来构造输出图像。然而,由于信道方式完全连接层中的信息瓶颈,输出图像的回复区域通常包含视觉伪像并表现出模糊性。{22}通过减少下采样层的数量,并用一系列空洞卷积层替换通道的全连接层,通过使用变化的膨胀银子来补偿下采样层的减少。但是,随着训练时间,由于使用大的膨胀因子产生极稀疏的滤波器。{49}使用预先训练的VGG网络,通过最小化图像背景的特征差异来改善上下文编码器的输出。该方法需要迭代地求解多尺度优化问题,这在推理时间期间显著得增加了计算成本。{28}引入了部分卷积,其中卷积权重由卷积滤波器当前所在的窗口的掩膜区域归一化。这有效地防止了卷积滤波器在遍历不完整 区域时捕获过多的零。{53}采用两步法解决图像修复问题,首先,它产生缺失区域的粗略估计,接着,细化网络通过搜索与粗略估计具有最高相似性的背景片的集合,使用注意力机制来锐化结构。{43}采用相似的方法,并引入了一个“补丁交换”层,用缺失区域内的每个补丁替换边界上最相似的补丁。这些方案受到两个限制:1)细化网络假设粗略网络估计是合理准确的。并且2)这些方法不能处理具有任意形状的缺失区域。{52}与作者的方法最相近。它使用手绘草图来指导修复工作,作者的方法取消了手绘草图,而是学会在缺失区域产生幻觉。

edge connect

(1) 边缘生成器
Igt是真是的图片输入。他妈的边缘图和灰度对应部分分别用Cgt和Igray表示。在边缘生成器中,我们用遮挡灰度图像 作为输入,边缘图 和图像掩码M作为前提条件。(如果是缺失就用1表示,没有缺失就用0表示,因为M是个二进制)。生成器预测掩码区域的边缘图为下

我们用以Igray 为条件的Cgt和Cpred作为鉴别边缘图是否是真实的鉴别器的输入,网络训练的木板包括对抗性损失和特征匹配损失{46}
其中lemda(adv,1)和lemada(FM)是正则化参数。对抗性损失为
特征匹配损失L(FM)比较鉴别器中的激活层。这通过迫使发生器产生具有与真实图像类似的表示的结果来稳定训练过程。这个类似于感知损失{24,16,15} 其中的激活函数来自与预训练的VGG网络的激活图进行比较,但是,由于VGG网络没有经过训练来产生边缘信息,因此无法捕获我们在初始阶段寻求的结果。
特征损失LFM定义为
其中L是鉴别器的最终卷积层,Ni是第i个激活层的元素数,D1(i)是鉴别器的第i层中的激活。光谱归一化(SN)1 通过按照各自最大额奇异值缩小权重矩阵进一步稳定训练,有效地限制了Lipschitz常数为1,虽然这最初只是建议用于鉴别器,但是,{54,36]建议通过抑制参数和梯度值的突然变化,生成器也能从SN中收益,作者发现用Wasserstein慢了几倍,最终作者使lemda(adv,1)=1和lemda(FM)=10。。。。。(PS:不会打lemda。。。拙劣。。)
(2)image completion Network
图像补全网络使用不完整的彩色图像 作为输入,使用复合边缘图Ccomp进行调节。通过将实况边缘的背景区域与前一阶段的破坏区域中生成的边缘相结合爱构造边缘图。也就是
Ccomp=Cgt ·(1-M)+Cpred·M。
网络返回颜色图Ipred 随着缺失区域的填补,它和输入图像有着一样的分辨率
所以联合损失包含l1损失,对抗损失,感知损失,和风格损失。为了确保正确缩放,l1由掩码大小归一化。对抗性损失如下 感知损失Lperc和风格损失Lstyle. 感知损失通过在预先训练的网络的激活层之间定义距离度量来惩罚在感知上与标签不相似的结果。感知损失定义为 ,其中的 是预训练网络的第i层的激活函数,它对应来自于数据集上预先训练的VGG19的relu1_1,relu2_1,relu3_1,relu4_1和relu5_1的激活层。这些激活图还用于计算风格损失。
所以最后的总损失是 下面一节我将介绍将edge connect实现的结果。代码已经开源。地址是
https://github.com/youyuge34/Anime-InPainting

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐