人脸对齐--Unconstrained Face Alignment without Face Detection

Unconstrained Face Alignment without Face Detection

CVPRW2017

以前人脸对齐主要存在的问题：1）人脸对齐严重依赖于人脸检测来初始化，2）任意姿态的人脸对齐效果不是很好（例如大于45度的 yaw angle）

本文提出一种不需要人脸检测的人脸对齐方法。分两个步骤：1）Basic Landmark Prediction Stage，人脸特征点检测；2）Whole Landmark Regression Stage 基于人脸特征点位置，我们使用一个 Pose Splitting Layer 可以生成人脸的姿态

framework：



2 Our Method

2.1. Basic Landmark Prediction Stage

这里我们首先对图像中每个人脸的5个基础特征点进行检测： two centers of pupils, nose tip, two mouth corners （对照图示）

基础特征点检测方式参考文献【3】中的 a sub-network of landmark heatmap and affinity field prediction



2.1.1 Landmark Heatmap

这一步主要是对单个特征点的预测，基于真值特征点的预测

2.1.2 Landmark Affinity Field

这一步主要是将特征点关联起来用于去除一些噪声

2.1.3 Sub-network Learning



这里我们采用类似VGG网络结构的一个 CNN网络来 jointly learning heatmaps H and affinity fields L of landmarks



2.2. Whole Landmark Regression Stage

2.2.1 Pose Splitting Layer

这里我们将人脸姿态分为三类：left profile, right profile and semi-frontal

这三类姿态划分我们一般使用 Algorithm 1



对于 Menpo Benchmark 只需要分为 left profile and right profile 使用 Algorithm 2



人脸姿态分类完之后，我们对每个姿态的人脸进行姿态归一化



2.2.2 Shape Regression Sub-network

有了姿态归一化之后的人脸，我们进行人脸形状特征点密集提取



300-W dataset



Menpo Benchmark