【GAN的魔法】生成对抗网络技术进展及论文笔记3

前两部分在这里：

【GAN的魔法】生成对抗网络技术进展及论文笔记1

【GAN的魔法】生成对抗网络技术进展及论文笔记2

5. DCGAN的应用

DCGAN则是将GAN和深度卷积网络结合起来的应用，这篇文章的提出看似没有很大创新，但是提出了很多工程经验分享，以及针对CNN网络应用于GAN的设计。它的生成模型和判别模型的网络分别如下图(a)(b)所示：



这篇文章最有意思的部分其实是可视化网络的部分。比如在学习了一个卧室数据库后，在输入空间z（100维）中随机找9个点进行插值，然后用来生成图像，得到n幅生成的卧室图片如下图所示。可以看到整个图像空间平滑地进行过渡。第6行从无窗户到慢慢有窗户，第10行从电视机到窗户。



与此同时，他们也将Vector Arithmetic运用在了图像上，发现生成模型的初始输入z可以通过向量的相加减得到生成图像的变化。例如，下图展示了公式“微笑的女人-女人+男人=微笑的男人”和“戴眼镜的男人-男人+女人=戴眼镜的女人”在生成样本上的表现。怎么做到的！例如眼镜这个例子，首先在生成的图像中挑选出3张戴眼镜的男人、3张男人、3张女人的生成样本，记录下其对应的输入向量，进行平均后相加减后得到了戴眼镜的女人的一个输入向量，即可生成戴眼镜的女人的生成样本了。

是不是感觉很有意思？课后思考题^^按照上面Vector Arithmetic的理论，那么戴眼镜的男人-男人是不是就=眼镜呢？



下面一个例子展示了通过输入向量的调整使人脸从左侧脸转向右侧脸的过程。选取了4张左侧脸的生成样本和4张右侧脸的生成样本，记录下其对应的输入向量，做减法计算得“转向”向量后对输入向量进行插值，则得到了人脸不断转动改变朝向的生成样本。这说明人脸的姿态在输入向量中是线性的建模，通过输入向量的改变可以得到生成样本的姿态变化。



本节参考文献：《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》

6. GAN和RNN结合的应用

最近还有一篇《Generative Adversarial Text to Image Synthesis》，可以通过GAN与RNN相结合可以实现从文字到图像的转化

例如：输入是“粉色花瓣的花”，输出就会是一个包含了这些要素的图像。



我们知道GAN有两个网络，生成网络和判别网络。在文字到图像转化的这个应用中，生成网络首先对文字进行编码（这是RNN干的事），然后用这个编码来帮助生成图片；而判别网络则是对图片和文字的编码进行对比，输出是否是真的判断。

该任务包含两个部分：1. 利用自然语言处理来理解文本中的描述，这是通过RNN来实现的；2. 生成网络输出一个准确、自然的图像，对文字进行表达，这是通过GAN来实现的。

7. Others

最近还有一个特别有意思的基于GAN的从素描到图像转化的应用，比如可以从edges生成cats：



感兴趣的同学可以点这个链接进去玩一玩：https://affinelayer.com/pixsrv/

这是一个Berkeley AI的工作，脑洞真大，我还没来得及看文章，文章在这：《Image-to-Image Translation with Conditional Adversarial Networks》