基于opencv的身份证识别系统

一、前言

本文主要实现了对身份证图片上身份证号码的自动识别，在Qt平台上使用OpenCV进行图像处理，并绘制简单的用户界面，设计了一个基于Qt和opencv的身份证号码识别系统。

二、用户界面

       用户界面如下所示，简单几个控件，这里只是实现了身份证号码的识别，而没有对汉字（姓名及地址）识别，水平尚且不足。



三、身份证图像处理流程
下图为身份证识别系统的系统框图。



四、图像二值化处理
再打开一副图片，也即获取一副彩色身份证图片后，为使得身份证号码颜色与背景色呈现较大差别，故选取R分量作为彩色图像的灰度化，接着对图像进行二值化处理。这里需要获取图像的全局阈值和局部阈值。

首先由Otsu算法（opencv已实现）获得整幅图像的全局阈值T，再由Beresen方法计算得当前像素的领域窗口内的灰度均值Tbn，再利用整个图像的最大灰度值和最小灰度值计算得到一个矫正因素b，则二值化公式可由下式子确定

                  


其中T为Ostu全局阈值，Tbn由下式确定： 

                


b由下式确定： 
                  


其中g2为图像中灰度的最大值，g1为图像中灰度的最小值，C为经验系数，通常取0.12算法在函数OstuBeresenThreshold实现，实现的效果如下所示：





五、身份证号码定位

       将二值化得到的图像进行黑白反色处理，即背景为黑色，身份证号码为白色，接着对图像进行闭操作后，使用findContours检测二值图像中的白色像素块的外轮廓，将符合长宽比及面积要求的轮廓提取出来。要找到的轮廓如下所示：



要做汉字识别的话，可以在这部分将汉字区域定位并剪切出来

六、号码分割
观察到所获得的裁剪出来的身份证号码图像（已经缩放至300*20分辨率大小）如下所示：

                                  

 

在该图像中，显然身份证号码与背景图像颜色区分度高，故进反色后，使用Otsu方法二值化后可得

                                  


要将号码分割出来，则只需进行列分割，也即统计

                                 


其中f(x,y)为介于两个字符之间的像素，该过程由函数char_segment实现

七、特征提取

提取数字字符的特征向量，也即提取梯度分布特征+灰度分布特征+水平投影直方图+垂直投影直方图，最后每个字符得到一个1*72的特征向量，由calcGradientFeat函数实现

八、神经网络训练

所使用的训练图片均由从多张身份证图片上分割得到，之后经过特征提取，获得训练矩阵和标签矩阵保存于ann_xml.xml文件中，由函数getAnnXML实现，然后由ann_train从中读取训练矩阵和标签矩阵用于神经网络训练，opencv中实现的是多层感知器神经网络。

九、分类器分类

使用训练得的神经网络对所提取的字符特征向量进行分类，由函数classify实现。

十、校验位计算

由于最后一位有时识别率不高，可能是最后一位的分割结果不是很好，故最后1位校验位直接由前17位数字计算得，由getParityBit函数实现。

十一、结果显示

该身份证号码识别系统所处理的图像必须要求身份证区域尽可能占整幅图像更多的区域，且在纯色背景下拍摄，另外需保证拍摄得的身份证图像尽可能光照均匀，不能有高光存在。如下所示



系统识别结果示意如下：



所使用身份证图片均来自百度搜索

源程序下载：http://download.csdn.NET/detail/ap1005834/9530222

在各种证件识别中，身份证识别相对来讲还是比较简单的，因为字体及位置固定，而且颜色与背景差别较大。

识别流程：


    

 
  

              

 
      

          

 
    



       （1）输入图像                                    （2）身份证图像粗定位及分割                                    （3）细定位各种信息及分割                             此步可根据需求选择提取或不提取

                                                                                                                                  

（只提取了部分信息，其他类似）

                                                                                                               

  

                                                                                                                                                                           （4）识别各种信息

对输入图像进行预处理：身份证图像的预处理是指对采集到的身份证图像进行灰度化和去噪处理，以使身份证图像图像的质量得到改善，同时保留和增强身份证中纹理和颜色的信息，去除可能影响身份证区域纹理和颜色信息的噪点，为身份证图像定位提供方便。主要方法：图像灰度化；图像灰度拉伸；空域滤波之中值滤波。

身份证图像粗定位：使原始图像经过各种算法的处理后能够清楚地显示出身份证图像区域，同时使图像中的非身份证区域减弱，从而能准确有效地定位出身份证在图像中的位置。算法主要有：边缘检测法、数学形态学法、基于纹理分析的定位方法、行检测和边缘统计法、遗传算法，Hough变化和轮廓线法、基于小波变换的方法、神经网络法等。

细定位各种信息：由于身份证的信息位置固定，可直接指定ROI区域的子图像；或采用垂直投影和水平投影定位。

识别：这一步也是计算量比较大的一部分。方法有模板匹配字符识别算法；统计特征匹配法（13线法）；神经网络字符识别算法；SVM+特征提取；以及最近比较火的深度学习之CNN。测试时模板匹配识别率较低，利用SVM+特征提取识别较好。

代码不能公开，大家都懂得~