人脸特征点定位方法综述 （An Empirical Study of Recent Face Alignment Methods阅读笔记）

人脸特征点定位方法综述
（An Empirical Study of Recent Face Alignment Methods阅读笔记）
人脸特征点定位方法具有里程碑式的发展有五个：

1、1995 年Cootes 的ASM算法;

2、1998 年Cootes 的AAM算法;

3、2006 年cristinacce 的CLM算法（Constrained Local Model）;

4、2010 年Dollar 的cascaded Regression算法;

5、2013年 Sun 首次将深度学习方法CNN应用到人脸特征点定位上;

 

当前的人脸特征点定位有三种方法：基于局部方法（local-basedmethods）、基于全局的方法（holistic-basedmethods）以及基于混合的方法。注：ASM,AAM不包括在内；

一、基于局部方法（local-based methods）

基于局部方法通常有两种：local expert和spatial shape model .前者着重描述特征点附近图像的“模样”，后者着重于描述脸部形状的变化。

1.1、Local expert主要由以下三类：1）基于分类方法，例如一般基于Gabor特征或SIFT特征的SVM，基于DRMF的字典学习（Dict.L）和多通道关联滤波器（CF）；

2）基于回归的方法，例如支持向量回归（SVR）和连续条件随机场（CCNF）;

3）基于投票的方法。

1.2、Shape model比较典型的就是CLM（局部约束模型）,还有其他的比如RANSAC,图匹配，高斯牛顿可变性部分模型（GNDPM），混合树模型以及层次可能性模型（HPM）

基于局部方法不足之处：1）当特征点较多是，计算量大；2）难以平衡局部响应与全局约束；



二、基于全局的方法（holistic-based methods）

当前大多数基于全局的方法都是从粗到精的方式进行工作的。比如形状估计一般开始与初始形状S0，通过T个回归器级联逐步地对形状进行微调，然后获得最终形状。可以用如下算法进行解释：



尽管当前提出了许多策略，但大多数策略都是基于上面的那个框架，只不过这些方法的区别主要在这三个方面：1）初始化设置不同；2）shape-indexed特征不同；3）回归器的不同；不过特征提取和回归器通常是相互依赖的。

初始化：对于基于形状回归的方法初始化主要有三种策略：random，mean shape以及supervised。这里说一下，基于supervised初始化策略通常通过一个辅助模型（比如ConvNet）计算初始化模型。

Shape indexed特征：当前有大量的不同的图像特征用来作为Shape indexed特征，包括灰度像素差值，手工特征（SIFT或HOG等），学习特征（使用自编码器或ConvNet）

回归器：回归器也有许多不同的构建方法，比如：随机厥 random ferns，随机森林random forests，支持向量回归SupportVector Regressor，监督梯度下降法Supervised Descent Method(SDM) 以及他的扩展方法。当前，也有许多人将深度学习的框架应用到人脸对齐的问题上，这种方法一般都是一种基于全局的（holistic），从粗到精（coarse-to-fine）的方式。



值得注意的是，特征和回归器的结合无非就是两种，non-linear features + linear regression以及linear features + non-linear regression，这是因为从image到face pose的mapping过程就是一个非线性的过程。

三、基于混合的方法

基于混合的方法用的比较多的就是脸部遮挡检测occlusion detection，unified face detection andalignment 以及Active Pictorial Model。

四、人脸特征点定位常用数据集





五、人脸检测方法

（1）OpenCV自带的基于Harr特征的V-Jdetector；

（2）基于HOG+SVM特征的dlib；

（3）doppia库的三种人脸检测方法（DPM，HeadHunter和HeadHunter_baseline）。

上面几种人脸检测效果中doppia库提供的人脸检测效果最好，顺便提一下，doppia库除了有比较好的人脸检测算法之外还有行人检测算法DPM， DPM应该算是的传统机器学习模式（非深度学习）下行人检测效果最好的算法。另外下面是一些网友整理的具有state-of-the-art的人脸检测方法：



文章中有对常用的几种人脸检测算法进行对比：





六、特征点定位评估指标

这里就着重介绍一下作者提出的new特征点定位评估标准:

 。当前使用的最多的特征点定位误差归一化的方法就是：



这里

表示估计形状与ground truth形状的欧式距离，

表示双眼距离，即两眼中心的欧式距离。

评估特征点定位评估方法有两种，一种是平均误差，另一种是累积误差分布曲线（CED，CumulativeError Distribution）。

作者在文章中提出了一种新的人脸特征点定位估计评估指标

，

就是通过计算该曲线的面积进行评估。



这里，e表示归一化误差，f(e)表示累积误差分布函数。



横坐标表示归一化误差值e，纵坐标表示小于归一化误差e的特征点占所有特征点的比例。值得一说的是，该方法的好处就在于的值不像平均误差那样受单个点误差较大而发生较大变化，非常敏感。

七、实验

作者对近年来一些的一些人脸特征点定位方法进行相关的复现性实验并对比其实验效果。这些方法包括CFAN,RCPR,IFA,CFSS,SDM,LBF等等。







注：上述实验结果只是作者实现的效果并非方法原作者所提供的实验数据，而且部分实验结果与方法原作者的存在出入。

重要影响因素

作者在文章研究了许多影响特征点定位效果的因素，比如人脸检测方法（faceCentre shift, face scale change）,初始化以及级联程度等等。我在这里就介绍一下文章中介绍的两个重要因素。作者选取了基于全局（holistic-based）的人脸对齐方法的两个重要影响因素：初始化（initialization）和和级联程度（cascade level），选择的研究对象是具有突破性的人脸对齐方法---显性性状回归（ESR）。



上面RD（random）表示随机选取形状，MS（means shape）表示平均形状。