PaddlePaddle论文复现课程-BigGan学习心得

飞桨论文复现课程←（官方链接）

课程描述

为了帮助大家更好的进行论文发表等科研工作，深入实践深度学习，百度特别推出了全球顶会深度学习论文复现营。由百度资深算法工程师与中科院高级研究员联合授课，28天手把手带你亲自复现1篇论文，掌握论文复现全流程。

目标

1. 深入掌握论文精度、模型搭建、模型调优等深度学习硬核技能。

2. 精通GAN、视频分类技术方向，成功复现至少1篇顶会学术论文。

相关链接

https://aistudio.baidu.com/aistudio/education/group/info/1340

论文：Large Scale GAN Training For High Fidelity Natural Image Synthesis←（论文PDF）

写在前面

选择这篇论文细读分享无他，仅是其效果为由足矣。
（截自该Paper Page.1）

论文开篇就给出了惊艳的效果以及结果。

Our modifications lead to models which set the new state of the art in class-conditional image synthesis. When trained on ImageNet at 128×128 resolution, our models (BigGANs) achieve an Inception Score (IS) of 166.5 and Frechet Inception Distance (FID) of 7.4, improving over the previous best IS of 52.52 and FID of 18.65.1

从FID：18.65到7.4，IS：52.52到166.5，这巨大的飞跃实在令人振奋。（尽管这是牺牲多样性着重于真实感生成所达成的高分，其逼真程度真的堪称肉眼难以分辨。）
从其给出的效果图，除了含有人物的有很明显的无力，其它的动物、风景、建筑等等场景的生成都已经有了很好的效果。

论文要点

作者很清晰地描述了其为了增强Gan生成图与真实图片的三个方向：

1. GAN的规模
2. “裁剪技巧”
3. 牺牲一定程度的稳定性

论文GAN网络基底：SA-GAN

GAN规模

这里作者选择了扩大GAN网络训练批大小和通道数（增加参数）
1.训练批大小：发现到将其扩大至8倍，IS可以增加46%。
2.通道数： 扩大到原来的1.5倍，IS可以增加21%.
（截自该Paper Page.3）

“裁剪技巧”

作者在描述这里的“裁剪技巧”给予了其一个定性的作用“TRADING OFF VARIETY AND FIDELITY WITH THE TRUNCATION TRICK”——多样性与精细度的平衡。
主要是对输入到G生成器的Z信号进行“有选择”的采用，设定一定的Threshold。
（截自该Paper Page.4）

对于比较大的网络可能会存在不能进行“裁剪技巧”，作者引入了自己润饰过的正交正则。

Rβ(W)=β∣∣WTW⊙(1−I))]F2R_β\left(W\right)=β||W^TW\odot\left(1-I)\right)]^2_FRβ​(W)=β∣∣WTW⊙(1−I))]F2​
其中

1

β

W

牺牲一定程度的稳定性

作者从经验上发现了大规模GANs特有的不稳定性，并根据经验描述了它们的特征。利用这一分析中的见解，其证明了新技术和现有技术的结合可以减少这些不稳定性，但是完全的训练稳定性只能以巨大的性能代价来实现。
鉴于更大规模的GAN训练获得较好效果需要的迭代次数也会有所下降，作者选择在模型崩塌之前停止训练。
（截自该Paper Page.5）

1. LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS Andrew Brock, Jeff Donahue, Karen Simonyan ↩︎