多任务学习“Rotating Your Face Using Multi-task Deep Neural Network”

多任务学习框架，在保持人脸ID同时将任意姿态和光照人脸旋转到目标姿态，目标姿态可以人为控制。通过使用人造的控制姿态的图像，提取姿态及光照不变的特征，用于人脸识别，在MultiPIE数据库上比较。

论文通过训练一个DNN网络，将一幅人脸和一个表示目标姿态的二值编码作为输入，即Remote Code，生成目标姿态且具有相同身份的人脸图像。这个人脸旋转器可以认为是一个黑盒子，旋转器的质量由输出图像与目标姿态的一致性、人脸身份的保存度衡量。示意图如下图所示：



下图显示了模型的输出结果：



为提升DNN人脸身份保持的能力，增加了一个额外的任务，用于重建原始输入图像。辅任务冲击输入图像，主任务的输出就应该是身份保持的，并且包含所输入人脸足够的信息。不同于其他多任务学习框架，论文的辅任务共享主任务的所有曾，在主任务后连接辅助任务。多任务的结构如下图所示：



网络不同层特征空间的分布：