人脸识别技术及研究关键问题

基本概念：
人脸识别就是对于输入的人脸图像或者视频，首先判断其中是否存在人脸，如果存在人脸，则进一步的给出每个人脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息，进一步提取每个人脸中所蕴含的身份特征，并将其与已知人脸库中的人脸进行对比，从而识别每个人脸的身份。
人脸识别的过程可以分为以下三个部分：
1、人脸检测：判断输入图像中是否存在人脸，如果有，给出每个人脸的位置，大小；
2、面部特征定位：对找到的每个人脸，检测其主要器官的位置和形状等信息；
3、人脸比对：根据面部特征定位的结果，与库中人脸对比，判断该人脸的身份信息；

从应用的角度，人脸识别包括两大类：
1、人脸身份识别：即根据人脸图像识别出人物的身份，解决是谁的问题；
2、人脸身份确认/验证：判断图像中的人脸是否是指定的人，即解决是不是某人的问题；
人脸识别技术具有广泛的应用前景，在国家安全、军事安全和公共安全领域，智能门禁、智能视频监控、公安布控、海关身份验证、司机驾照验证等是典型的应用；在民事和经济领域，各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险人的身份验证等具有重要的应用价值；在家庭娱乐等领域，人脸识别也具有一些有趣有益的应用，比如能够识别主人身份的智能玩具、家政机器人，具有真实面像的虚拟游戏玩家等等。

研究方向：
1、人脸检测与跟踪技术
　　显然，要识别图像中出现的人脸，首要的一点就是要找到人脸。人脸检测与跟踪研究的就是如何从静态图片或者视频序列中找出人脸，如果存在人脸，则输出人脸的数目、每个人脸的位置及其大小。人脸跟踪就是要在检测到人脸的基础上，在后续的人脸图像中继续捕获人脸的位置及其大小等性质。人脸检测是人脸身份识别的前期工作。同时，人脸检测作为完整的单独功能模块，在智能视频监控、视频检索和视频内容组织等方面有直接的应用。
　　我们课题组提出并实现了一个复杂背景下的多级结构的人脸检测与跟踪系统，其中采用了模板匹配、特征子脸、彩色信息等人脸检测技术，能够检测平面内旋转的人脸，并可以跟踪任意姿态的运动的人脸。简述如下:这种检测方法是一个两级结构的算法，对于扫描窗口，首先和人脸模板进行匹配，如果匹配，那么将其投影到人脸子空间，由特征子脸技术判断是否为人脸。模板匹配的方法是：按照人脸特征，将人脸图像划分成14个不同区域，用每个区域的灰度统计值表示该区域，用整个样本的灰度平均值归一化，从而得到用特征向量表示的人脸模板。通过非监督学习的方法对训练样本聚类，得到参考模板族。将测试图像的模板与参考模板在某种距离测度下匹配，通过阈值判断匹配程度。特征子脸技术的基本思想是：从统计的观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像。这些特征向量称为特征脸(Eigenface)。实际上，特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇，统称特征子脸。特征子脸在相应的图像空间中张成子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。
　　课题组还在人脸重心模板技术的基础上改进并实现了一个复杂背景中、准实时的快速检测人脸的系统。设计了人脸重心模板以实现人脸快速的定位，这些人脸模板具有多尺度的检测功能，能适应于检测处于复杂背景中任何位置的不同大小的人脸；人脸重心模板上的重心点对应于人脸模式上的各个器官(双眉、双眼、鼻和嘴)，重心点之间动态的二维空间约束关系适应于检测具有不同构型的实际人脸。人脸重心模板的匹配是基于从Mosaic图像上提取的重心点之上的，而Mosaic图像是对人脸器官区域的一种很好的模糊或灰度平均处理，从起上可以很好的提取出各器官的位置，因而它教不易受特定人脸表情、纹理的影响；对于光照而言，由于光照并不改变人脸器官区域与其它区域的灰度高低不同的这一相对性质性质，所以它基本上不受光照影响。垂直人脸以纵轴向左右旋转一定角度（- 45°~ +45°），由于人脸器官成水平分布，不影响Mosaic横边和重心点的提取， 所以水平旋转人脸的检测也不受影响。
　　除此之外，我们还对国际上最新的研究成果基于AdaBoost的实时人脸检测方法进行了跟踪研究和实现，其检测速度可以达到平均15帧/秒（图像大小是384x288）。除此之外，他还可以很容易的扩展到多姿态人脸检测上去。
2、面部关键特征定位及人脸2D形状检测技术
　　在人脸检测的基础上，面部关键特征检测试图检测人脸上的主要的面部特征点的位置和眼睛和嘴巴等主要器官的形状信息。灰度积分投影曲线分析、模板匹配、可变形模板、Hough变换、Snake算子、基于Gabor小波变换的弹性图匹配技术、主动性状模型和主动外观模型是常用的方法。我们课题组在这方面作了大量工作。
　　可变形模板的主要思想是根据待检测人脸特征的先验的形状信息，定义一个参数描述的形状模型，该模型的参数反映了对应特征形状的可变部分，如位置、大小、角度等，它们最终通过模型与图像的边缘、峰、谷和灰度分布特性的动态地交互适应来得以修正。由于模板变形利用了特征区域的全局信息，因此可以较好地检测出相应的特征形状。由于可变形模板要采用优化算法在参数空间内进行能量函数极小化，因此算法的主要缺点在于两点：一、对参数初值的依赖程度高，很容易陷入局部最小；二、计算时间长。针对这两方面的问题，我们采用了一种由粗到细的检测算法：首先利用人脸器官构造的先验知识、面部图像灰度分布的峰谷和频率特性粗略检测出眼睛、鼻子、嘴、下巴的大致区域和一些关键的特征点；然后在此基础上，给出了较好的模板的初始参数，从而可以大幅提高算法的速度和精度。
　　眼睛是面部最重要的特征，它们的精确定位是识别的关键。我们还提出了一种基于区域增长的眼睛定位技术，该技术在人脸检测的基础上，充分利用了眼睛是面部区域内脸部中心的左上方和右上方的灰度谷区这一特性，可以精确快速的定位两个眼睛瞳孔中心位置。该算法采用了基于区域增长的搜索策略，在人脸定位算法给出的大致人脸框架中，估计鼻子的初始位置，然后定义两个初始搜索矩形，分别向左右两眼所处的大致位置生长。该算法根据人眼灰度明显低于面部灰度的特点，利用搜索矩形找到眼部的边缘，最后定位到瞳孔的中心。实验表明，本算法对于人脸大小、姿态和光照的变化，都有较强的适应能力，但在眼部阴影较重的情况下，会出现定位不准。佩戴黑框眼镜，也会影响本算法的定位结果。
　　主动形状模型（ASM）和主动外观模型（AAM）是近年来流行的一般对象形状提取算法，其核心思想是在某种局部点模型匹配的基础上，利用统计模型对待识别的人脸的形状进行约束，从而转化为一个优化的问题，并期望最终收敛到实际的人脸形状上去。我们对ASM和AAM进行了跟踪研究，发现了ASM的一些缺点，在局部模型和局部特征约束方面作了一些改进，同时，注意到ASM速度快，精度较低，而AAM复杂度高、速度慢的缺点，我们建立了二者的融合模型，并取得了初步的结果。
　　基于图像和形状之间的相关性，我们还提出了一种基于图像样例的形状学习算法，首次将学习策略引入了形状提取中，初步的实验表明该算法具有良好的性能。
3、人脸确认与识别技术
　　主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方法、基于模板的方法和基于模型的方法。基于几何特征的方法是最早、最传统的方法，通常需要和其他算法结合才能有比较好的效果；基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。特征脸方法是90年代初期由Turk和Pentland提出的目前最流行的算法之一，具有简单有效的特点，现在　　　　Eigenface算法已经与经典的模板匹配算法一起成为测试人脸识别系统性能的基准算法；而自1991年特征脸技术诞生以来，研究者对其进行了各种各样的实验和理论分析，FERET"96测试结果也表明，改进的特征脸算法是主流的人脸识别技术，也是具有最好性能的识别方法之一。
　　近年来，我们在对特征脸技术进行认真研究的基础上，尝试了基于特征脸特征提取方法和各种后端分类器相结合的方法，并提出了各种各样的改进版本或扩展算法，主要的研究内容包括线性/非线性判别分析(LDA/KDA)、Bayesian概率模型、支持矢量机（SVM）、人工神经网络(NN)以及类内和类间双子空间(inter/intra-class dual subspace)分析方法等等。
　　针对Eigenface算法的缺点，我们提出了特定人脸子空间(FSS)算法。该技术来源于但在本质上区别于传统的"特征脸"人脸识别方法："特征脸"方法中所有人共有一个人脸子空间，而我们的方法则为每一个体人脸建立一个该个体对象所私有的人脸子空间，从而不但能够更好的描述不同个体人脸之间的差异性，而且最大可能地摈弃了对识别不利的类内差异性和噪声，因而比传统的"特征脸算法"具有更好的判别能力。另外，针对每个待识别个体只有单一训练样本的人脸识别问题，我们提出了一种基于单一样本生成多个训练样本的技术，从而使得需要多个训练样本的个体人脸子空间方法可以适用于单训练样本人脸识别问题。在Yale人脸库、本实验室350人图像库上的对比实验也表明我们提出的方法比传统的特征脸方法、模板匹配方法对表情、光照、和一定范围内的姿态变化具有更好的鲁棒性，具有更优的识别性能。
　　弹性图匹配技术是一种基于几何特征和对灰度分布信息进行小波纹理分析相结合的识别算法，由于该算法较好的利用了人脸的结构和灰度分布信息，而且还具有自动精确定位面部特征点的功能，因而具有良好的识别效果，该技术在FERET测试中若干指标名列前茅，其缺点是时间复杂度高，实现复杂。我们对该算法进行了研究，并提出了一些启发策略。
研究关键问题：
a) 人脸识别中的光照问题
　　光照变化是影响人脸识别性能的最关键因素，对该问题的解决程度关系着人脸识别实用化进程的成败。我们将在对其进行系统分析的基础上，考虑对其进行量化研究的可能性，其中包括对光照强度和方向的量化、对人脸反射属性的量化、面部阴影和照度分析等等。在此基础上，考虑建立描述这些因素的数学模型，以便利用这些光照模型，在人脸图像预处理或者归一化阶段尽可能的补偿乃至消除其对识别性能的影响。重点研究如何在从人脸图像中将固有的人脸属性（反射率属性、3D表面形状属性）和光源、遮挡及高光等非人脸固有属性分离开来。基于统计视觉模型的反射率属性估计、3D表面形状估计、光照模式估计，以及任意光照图像生成算法是我们的主要研究内容。具体考虑两种不同的解决思路：
　　　1、 利用光照模式参数空间估计光照模式，然后进行针对性的光照补偿，以便消除非均匀正面光照造成的阴影、高光等影响；
　　　2、 基于光照子空间模型的任意光照图像生成算法，用于生成多个不同光照条件的训练样本，然后利用具有良好的学习能力的人脸识别算法，如子空间法，SVM等方法进行识别.
b) 人脸识别中的姿态问题研究
　　姿态问题涉及头部在三维垂直坐标系中绕三个轴的旋转造成的面部变化，其中垂直于图像平面的两个方向的深度旋转会造成面部信息的部分缺失。使得姿态问题成为人脸识别的一个技术难题。解决姿态问题有三种思路：
第一种思路是学习并记忆多种姿态特征，这对于多姿态人脸数据可以容易获取的情况比较实用，其优点是算法与正面人脸识别统一，不需要额外的技术支持，其缺点是存储需求大，姿态泛化能力不能确定，不能用于基于单张照片的人脸识别算法中等。
第二种思路是基于单张视图生成多角度视图，可以在只能获取用户单张照片的情况下合成该用户的多个学习样本，可以解决训练样本较少的情况下的多姿态人脸识别问题，从而改善识别性能。
　　第三种思路是基于姿态不变特征的方法，即寻求那些不随姿态的变化而变化的特征。我们的思路是采用基于统计的视觉模型，将输入姿态图像校正为正面图像，从而可以在统一的姿态空间内作特征的提取和匹配。
　　因此，基于单姿态视图的多姿态视图生成算法将是我们要研究的核心算法，我们的基本思路是采用机器学习算法学习姿态的2D变化模式，并将一般人脸的3D模型作为先验知识，补偿2D姿态变换中不可见的部分，并将其应用到新的输入图像上去。