基于haar+adaboost的人脸检测、深度学习的人脸识别技术应用综述

版权声明：本文为博主原创文章，未经博主允许不得转载。欢迎交流，QQ：896922782，微信：15058133936

目录

第一节 核心技术 3

一、人脸检测 3

二、特征点检测 5

三、人脸归一化 5

四、人脸验证 5

第二节 人脸识别技术应用 6

一、入库照片及背景要求 6

二、三种应用模式 7

三、人脸识别应用场景 7

（一）出入境/户政/治安/侦查等公共安全系统 8

（二）考试等教育类场所 8

（三）视频人脸识别分析系统 9

第五节 系统实施 21

一、系统架构（硬件设备） 21

（一）摄像头 21

（二）视频分析服务器 21

二、部署要求 22

（一）摄像机采集系统 22

（二）服务器部署 22

三、算法流程 22

（一）摄像头算法 22

（二）服务器算法 23

第一节 核心技术

图铭科技拥有自主研发的人脸识别核心算法，该算法适应于不同肤色、不同年龄、不同表情，针对整容、年龄变化、胖瘦等情况，算法拥有良好的识别处理方案。在百万复杂人脸数据集上识别率达到94%以上。整体框架如下图：



一、人脸检测

（1）Haar分类器

Haar分类器 = Haar-like特征 + 积分图方法 + AdaBoost +级联；

① 使用Haar-like特征做检测。

②　使用积分图（Integral Image）对Haar-like特征求值进行加速。

③　使用AdaBoost算法训练区分人脸和非人脸的强分类器。

④　使用筛选式级联把强分类器级联到一起，提高准确率



（2）多姿态旋转不变性的人脸检测模型

五种人脸模式：正脸（−20°~20°），左右半侧脸（±20°~±50° ）和左右旋转脸（平面内±30°的旋转）。

（3）使用瀑布模型训练五个独立分类器并将结果综合

每一个分支对应一种人脸模式，分支之间相互独立，各个分支的训练过程均采用级联Boosting训练框架。



（4）FDDB人脸检测部分测试结果





二、特征点检测

采用特征点标定的方法，用于每个部位的特征检测

人脸关键点定位是在人脸检测基础上，进一步定位人脸的眼睛、眉毛、鼻子和嘴巴轮廓等。主要思想是利用关键点附近的信息以及各个关键点之间的相互关系来定位。



三、人脸归一化

在提取特征的基础上，对图片进行旋转和缩放，为第四步人脸验证提供尽可能无冗余信息的原始数据。







四、人脸验证

通过特征之间的比较判断人脸的相似度。具体步骤见下图：



第二节 人脸识别技术应用

一、入库照片及背景要求

（一）影像的顏色、色深、及解析度

可支持彩色及灰度的影像

最低要求8-位，即256灰度影像

（二）影像的格式

各类主流的影像格式、如 bmp/jpg/png等

（三）最低影像大小

最低要求：双眼中心之间的距离30像素

建议大小：205*205 16-bit高彩 jpg 24KB

置于智能卡中：104*104 8-bit灰度jpg 2.5KB

（四）背景

面部识别可在任何背景下进行

不受背景物件的移动及摄像头的移动所影响



二、三种应用模式

1. 人像检索模式（SCAN） 2. 人像监控模式（Watchlist） 3. 人像验证模式（Verification）

三、人脸识别应用场景



（一）出入境/户政/治安/侦查等公共安全系统

1. 银行、海关、火车站等场所的查重 /查验/查询

2. 人员身份核实/视频监控实时比对/警用PDA实时比对（移动警务）

3. 嫌疑人身份核实/录像回放调查取证

4.深挖犯罪



（二）考试等教育类场所

1、考试前、考试中和考试后对考生拍照并使用人像识别技术与受理时录入的相片进行比对，以确认考生身份，杜绝考试时冒名顶替的情况；

2、选择一张经人像识别系统比对后的相片打印在成绩单上。



（三）视频人脸识别分析系统

1、公安部门在机场、港口、银行等重要地点对在逃人员及其它犯罪嫌疑人的布控；

2、安全部门在会场、展馆等集会场所等对重点监控人员的布控；



第三节 解决方案

一、人脸识别SDK

人脸识别SDK是一款集人脸图像检测、规范化处理、建模和比对于一体，帮助开发者在图像和视频中实现人脸识别功能的开发包，并通过标准的API开发接口，与第三方应用管理系统（或硬件）紧密结合。SDK由C/C++开发，兼具近红外和可见光两种识别算法，可实现不同光线环境下的精准人脸识别，广泛应用于系统登录、视频监控、出入控制等众多身份认证场所。

（一）人脸识别SDK包含以下功能：

1、 人脸注册接口：新增一张用户的人脸的人脸库，人脸库支持分组

2、 人脸更新接口

3、 人脸删除接口

4、 人脸查询接口

5、 人脸检测接口：检测请求图片中的人脸，能返回人脸的位置，人脸框，个数等信息

6、 人脸识别接口：计算请求中的图片，返回与人脸库中的人脸相似度相近的人脸信息和相似度。匹配的相似度由请求中指定。如，请求中指定了80%，则返回匹配到80%相似度的人脸信息。

7、 人脸认证接口：计算请求中的图片，与指定一个人脸库中的用户id的匹配程度。与人脸识别接口的差别就是不需要匹配整个人脸库。

8、 实时联动应用软件标识人脸框的接口：在高性能平台上应用软件1秒内大约5-10次调用人脸检测接口，根据人脸框位置标注位置。

（二）人脸识别SDK特点：

操作系统：支持Unix、Linux、Windows、 Android 、iOS 等主流操作系统；

开发语言：支持Visual C#、Visual C++、PYTHON、JAVA等高级开发语言；

通讯接口：USB2.0以上、RJ45网口等；

第四节 相关产品

一、动态人脸识别

（一）功能

在人员自由行走的情况下，动态检测人脸，并于数据库中人脸进行比对，识别出身份以后，语音问候，同时控制门禁开关。

（二）适用范围

替代传统的刷卡，自动身份识别，适用于：社区、健身娱乐休闲场所、宿舍教室等。

（三）结构

在园区人行出入口部署智能人脸识别系统，摄像头自动抓拍后与后台人脸库对比，通过后，自动联动人行道闸开启放行，避免了保安询问的尴尬和不礼貌场景，无感知的出入体现对进出园区用户的尊重。

智能人脸识别无需用户任何操作，用户进出园区更加方便、快捷。后续实现联网，分级权限管理，集团可以对各园区人行出入情况进行全天候的实时动态监控和远程考勤，降低督查管理成本。

将原先用于公安系统的智能人脸识别技术运用于园区出入管理，体现绿城差异化服务实力，智能人脸识别技术准确性高，可设置黑白名单，联动报警，园区安全系数极大提升。汇聚出入园区用户的人脸信息，为后续大数据分析进行数据贮备。

系统采用 C/S 架构，由前端摄像机、服务器、人脸对比智能客户端、存储设备、数据库、后台管理平台等组成，基本结构如图所示。



（四）硬件组成



人脸识别控制器 数字高清网络摄像机

可选配置：身份证读卡器、继电器、门禁、闸机、电磁门

安装场景 ：



第五节 系统实施

一、系统架构（硬件设备）

（一）摄像头

部署在出入口

内部算法自动对人脸进行检测、跟踪、抓拍

具备人脸区域自动曝光功能，适应逆光环境

（二）视频分析服务器

比对服务

搜索服务

存储服务



二、部署要求

（一）摄像机采集系统

（1）水平偏移夹角小于10°

（2）保证人脸在镜头中为正脸

（3）调整合适的焦距

（4）设置合适的人脸采集区域的大小

（5）保证现场光照充足

（6）根据实际场景状况，适当增加相应的照明设备

（二）服务器部署

（1）服务器CPU

（2）每秒要求可以处理50帧图像，并发率80%。

（3）磁盘阵列存储

三、算法流程

（一）摄像头算法

（1）人脸检测、人脸跟踪

摄像头对感兴趣区域内出现的人员进行人脸检测和人脸跟踪，获取人脸视频流

（2）人脸质量评估

筛选视频流中正面脸部信息最清晰的人脸图像

（3）上传数据



（二）服务器算法

（1）接受抓拍人脸图像

构建数据库存储抓拍图像

（2）人脸特征提取算法

提取抓拍图像人脸特征

（3）比对算法

抓拍图像特征与身份证库特征进行比对

（4）返回结果

根据设置的报警阈值返回结果