High-Fidelity Pose and Expression Normalization for Face Recognition in the Wild

CVPR 2015 Matlab code

http://www.cbsr.ia.ac.cn/users/xiangyuzhu/projects/HPEN/main.htm

中科院关于 人脸图像预处理：姿态和表情的归一化

算法的整体流程图如下所示：



2 Pose Adaptive 3DMM Fitting

2.1. 3D Morphable Model

本文采用3D模型，我们将 Basel Face Model (BFM) [36] 和 表示表情的Face Warehouse [14]结合起来，得到我们自己的 3DMM（3DMorphableModel）。

我们通过一个 Weak Perspective Projection 将3D模型投影到 图像平面，通过优化下面的公式：



2.2. Landmark Marching

一般来说首先是进行人脸的特征点检测，然后将这些特征点与对应的3D模型建立映射关系。但是有一个问题，就是有一部分特征点被遮挡了，导致不能准确的建立映射关系。如下图所示：



本文提出了一个解决方法：landmark marching。

When pose changes, if a contour landmark is visible, it will not move; or it will move along the parallel to the visibility boundary



3 Identity Preserving Normalization

扩展到人脸周边区域，得到更完整的信息



锚点微调



看不见的区域填充



还原背景



结果