Toward Multimodal Image-to-Image Translation(BicycleGAN)图像一对多转换测试
2017-12-21 13:22
821 查看
CycleGAN、pix2pix、iGAN的主要贡献者最近在NIPS 2017上又推出了一篇文章Toward Multimodal Image-to-Image Translation(见https://junyanz.github.io/BicycleGAN/,https://arxiv.org/pdf/1711.11586.pdf),讨论如何从一张图像同时转换为多张风格不一成对的图像。
从作者摘要第一句可以看出:“Many image-to-image translation problems are ambiguous, as a single input image may correspond to multiple possible outputs. In this work, we aim to model a distribution of possible outputs in a conditional generative modeling setting.” 像pix2pix这样的图像转换(一对一)的方式是存在歧义的,因为不可能只对应一个输出。因此作者提出了一种一对多的输出,即将可能输出的图像是存在一定的分布特性的。
论文的主要方法如下图所示,即作者结合了两种GAN来实现。
其原理框图如下所示:
其中cVAE-GAN(条件变分自编码GAN),即通过VAE来学习图像输出的隐分布,进行建模多样式输出分布方法。如上图(C) 所示,cVAE-GAN 首先从ground truth目标图像B开始并将它编码到隐空间中。然后生成器试图将输入图像A连同样本z逆映射到原始图像B。
cLR-GAN(条件潜在回归GAN):从随机抽样的隐编码开始,条件生成器应该产生一个输出,当它作为输入给编码器时,它应该返回相同的隐编码,从而实现自我一致性。cLR-GAN从一个已知的分布中随机采样隐编码,利用这个编码将A映射到输出B,然后试图从输出中重建隐编码。
那么BicycleGAN就是综合了上面两个模型,得到以下的模型:
实验测试(参照https://github.com/junyanz/BicycleGAN/ 公开代码进行重新编译和测试,去掉GPU设置模块,进行测试):
生成结果如下所示,还是相当酷的。
从作者摘要第一句可以看出:“Many image-to-image translation problems are ambiguous, as a single input image may correspond to multiple possible outputs. In this work, we aim to model a distribution of possible outputs in a conditional generative modeling setting.” 像pix2pix这样的图像转换(一对一)的方式是存在歧义的,因为不可能只对应一个输出。因此作者提出了一种一对多的输出,即将可能输出的图像是存在一定的分布特性的。
论文的主要方法如下图所示,即作者结合了两种GAN来实现。
其原理框图如下所示:
其中cVAE-GAN(条件变分自编码GAN),即通过VAE来学习图像输出的隐分布,进行建模多样式输出分布方法。如上图(C) 所示,cVAE-GAN 首先从ground truth目标图像B开始并将它编码到隐空间中。然后生成器试图将输入图像A连同样本z逆映射到原始图像B。
cLR-GAN(条件潜在回归GAN):从随机抽样的隐编码开始,条件生成器应该产生一个输出,当它作为输入给编码器时,它应该返回相同的隐编码,从而实现自我一致性。cLR-GAN从一个已知的分布中随机采样隐编码,利用这个编码将A映射到输出B,然后试图从输出中重建隐编码。
那么BicycleGAN就是综合了上面两个模型,得到以下的模型:
实验测试(参照https://github.com/junyanz/BicycleGAN/ 公开代码进行重新编译和测试,去掉GPU设置模块,进行测试):
生成结果如下所示,还是相当酷的。
相关文章推荐
- 自然图像抠图的一种闭式解 (a closed-form solution to natual image matting)
- Halcon学习——region_to_bin(将图像的一个区域转换为二值图)
- HTML to Image in C#(C#实现Html转换为Image,即网页截图)
- 如何使用OpenCV的处理图像,文字变得锐利和清晰?(How to use OpenCV to process image so that the text become sharp and clea
- Delphi 2010 新增功能之: TWICImage 类[1] - 方便的图像格式转换
- 关于opencv 图像掩膜操作srcImage.copyto(dstImage, mask)说明
- VTK图像处理之vtkImageMapToColors
- 黄聪: PHP WkHtmlToPdf/WkHtmlToImage 将网页直接转换成pdf和图片
- python中PIL.Image和OpenCV图像格式相互转换
- 彩色照片转换为黑白照片(Color image converted to black and white picture)
- 自定义(手动调整).net中图像的调色板(How to adjust (customize) image's palette in .net?)
- 【OpenCV_05】把图像&视频写入文件Write Image & Video to File
- 图像抠图闭合方案 A Closed Form Solution to Natural Image Matting
- 图像转换(jpg to bmo)(bmp to jpg)
- IpiImage图像与BYTE图像之间的转换
- 关于MultiByteToWideChar与WideCharToMultiByte代码测试(宽字符与多字节字符的转换)以及字符串的转换代码测试
- 图像转换(jpg to bmo)(bmp to jpg)
- python中PIL.Image和OpenCV图像格式相互转换
- 图像转换测试字符串
- 58. 分析、测试与总结:罗马数字和阿拉伯数字的转换[roman to integer and integer to roman in c++]