POCR-project-out cascaded regression for face alignment

继上次介绍人脸对齐问题中关于基于整体人脸表观的生成模型的经典方法AAM方法之后，今天继续介绍生成模型下另外一个代表性方法：基于部分可变生成模型之POCR方法，该方法在2015CVPR提出的，在DL非常火的今天，能够基于传统方法在人脸对齐方面做出代表性的工作，足见作者的牛逼之处（个人对于基于传统方法做出代表性的工作的作者一般都比较羡慕！！！个人观点）废话不多说了，回归今天的正题。

POCR：project out cascaded regression

从题目就可以看出，文章同样也采用了Cascaded的方法，即boosting的思想，不同的是，作者融合了高斯牛顿的优化方法。

方法概述：

1、构建形状和外观模型

首先，文章是利用PCA从训练数据中学习一个参数生成模型，当然，这包含两个模型，一个是全局形状模型，一个是基于部分的外观模型，为什么要使用参数生成模型？作者给出了他们的观点–为了后面方便高斯牛顿方法进行优化。

具体步骤：首先利用面部特征点定义人脸形状，然后利用Procrustes Analysis进行一个归一化处理，接着使用PCA进行一个降维处理，这样就可以获取一个初步形状模型，该模型可以定义为 S(p) = S0 + Sp. 即形状模型可以通过平均形状和形状变化向量组合表示。

1.2、外观模型构建：

首先对图像进行一个预处理warp，移除相似性转换的影响。然后从每一个特征点抽取SIFT特征，作为局部形状描述符，同样利用PCA进行处理，这样就可以得到一个表观模型，即：A(c) = A0 + Ac. A0是一个平均外观模型，Ac 是外观变化向量。

2、利用POCR进行问题优化

2.1


这里I表示从形状实例Sp中生成u个特征点的一组向量，我们的目的就是找出一组参数p,c，使之目标函数最小化。文章中作者给出，为了求出pc，进行一阶泰勒近似，因此，作者给出了如下优化目标函数：



这里J是通过形状参数获取的图像的夹可比矩阵。这里作者为了进行进一步的优化，又进一步的引入了海参矩阵，具体细节公式这里不方便描述，具体公式如下：



这里，作者又提出文章的另一个贡献，即通过海参矩阵变化，可以将问题进行分解，结构化处理。

最后，作者给出了优化的最终形式：





3、学习和拟合

基于上面最终优化的公式可以看出，在每一次的迭代优化的过程中，需要计算delta p ，计算p有需要计算夹克比矩阵，从该矩阵中投影该面部表观变化，然后计算海参矩阵及其逆，因此，在训练的过程大致可以归结如下：



最终，通过多次迭代，我们可以看到作者在300-W上的结果





从结果可以很明显的看出，作者利用cascaded regression 的方法，即使在人脸框偏差很大的情况下，仍然后回归出准确的人脸特征点位置，当然这里不乏包含了全局形状约束和局部外观约束组合，但也进一步证明了boosting思想的优势。

即使在深度学习强大的非线性描述能力，但是处理人脸特征点回归问题上，基于神经网络的方法同样也是该 思想。后面的文章我会详细介绍。

另外，作者给出了code 的linker， 有兴趣的同学可以跑一下效果，看具体怎么样！

[1]. Project-Out Cascaded Regression with an application to Face Alignment