大角度人脸转正--Towards Large-Pose Face Frontalization in the Wild

Towards Large-Pose Face Frontalization in the Wild

ICCV2017

https://www.arxiv.org/abs/1704.06244

http://cvlab.cse.msu.edu/project-face-frontalization.html

本文结合 3D Morphable Model (3DMM) 和 GAN 来进行人脸转正。

大的框架如下图所示：



3DMM Coefficients 得到输入人脸的姿态信息，通过3D模型可以得到大概信息，没有细节信息

因为原始输入图像含有细节信息，所以这里将 3DMM Coefficients 和 原始图像 输入到 GAN 的 Generator 生成模型中去，通过 GAN 生成还有细节的正脸图像，将这个生成的图像送到 GAN 的 Discriminator 判别模型中 和人脸识别模块中。GAN 的 Discriminator 主要判断图像是人工合成的还是 真实的图像。通过训练可以是 GAN 的 Generator 的生成图像 达到以假乱真的效果，即 GAN 的 Discriminator 将生成图像 判断为真实图像。这里加入人脸识别模块，主要是希望输入图像和生成的图像 保持是同一个人。



这里的 X 是原始输入图像， X_f 是 生成图像， X_g 是真值图像

R 是 3DMM 参数估计模型，G 生成正脸图像，



三大数据库实验对比：