【GAN的魔法】生成对抗网络技术进展及论文笔记1

1. 引言

人都是有创造性思维的，GAN（生成对抗网络，Generative Adversarial Networks）也可以。（好可怕~~~~）

深度学习大牛 Yan Lecun对它赞不绝口，称其为“10 年来机器学习领域最酷的想法”。



本文将从GAN相关的几篇重要论文展开，关注其技术进展。

2. GAN的诞生

GAN（Generative adversarial nets），即生成对抗网络，是Ian Goodfellow在2014年提出的。Goodfellow这个人名字叫好家伙，是Yoshua Bengio的学生，他的大作GAN也真是好家伙啊！好了调侃完毕，进入正题。

GAN启发自博弈论，它包括两个模型：生成模型(Generative Model, G)和判别模型(Discriminative Model, D)。生成模型主要用于生成样本，判别模型则用来判别输入的图像到底是真实的样本还是由生成模型生成的“假样本”。通过生成模型和判别模型的博弈使得生成的“假样本”的分布逼近于真实样本。

形象化解释：生成模型像“一个造假团伙，试图生产和使用假币”，而判别模型像“检测假币的警察”。生成器试图欺骗判别器，判别器则努力不被生成器欺骗。两个模型交替优化训练，直到到达一个“假币和真币无法区分”的点。

两个模型博弈的过程体现在公式上，就是下面这样一个 minmax 的形式，其中G表示生成模型，D表示判别模型，x表示真实样本，z表示用于生成样本的随机分布。



两个模型的博弈包括两部分：

1) 训练判别模型，最大化真实人脸样本的概率，最小化由生成模型采样得到的生成样本的概率；

2) 训练生成模型，最大化判别模型判别生成样本的概率。

可以发现生成模型的目标和判别模型是相反的，所以是一个博弈的过程。据此可以写出判别模型和生成模型的两个目标函数：



因此，GAN的训练过程就是去最大最小化上述目标函数。那么(1)式最大的时候对应于D=0.5，即真实数据和生成数据对于判别模型来说是一样的。(2)式最小对应于生成模型生成的数据使得D判别其为真实数据的prob最大，可以以假乱真了，此时生成模型最优。原文的算法示意图如下所示：



GAN用作图像生成的效果如下所示，最右侧一列是右侧倒数第二列生成图片在数据库中最相似的训练样本，以此表明GAN是真正在生成图片，而不是简单地记住了训练数据。



早期的 GANs 模型有许多问题。Yan Lecun 指出，其中一项主要缺陷是：GANs 不稳定，有时候它永远不会开始学习，或者生成我们认为合格的输出。这需要之后的研究一步步解决。

本节参考文献：《Generative Adversarial Networks》

下一部分在这里：【GAN的魔法】生成对抗网络技术进展及论文笔记2