OpenCV 之 HaarTraining 算法剖析

OpenCV 之 HaarTraining 算法剖析

1.引言 

通过前段时间阅读 OpenCV 的 HaarTraining 代码，基本掌握了 HaarTraining 算法。现将

其中的算法作一梳理，同时对 HaarTraining 的使用方法做一简要说明。 

 HaarTraining 算法总体上以 Friedman, J. H 等人的“Additive Logistic Regression: a 

Statistical View of Boosting”为出发点，实现了其中 2 类分类问题的 4 种Boost算法： Discrete 

AdaBoost, Real AdaBoost, LogitBoost 和 Gentle AdaBoost。同时实现了文中第 8 节 Additive 

Logistic Trees 和第 9 节 Weight Trimming. 

 Friedman, J. H等人只描述了如何训练一个强分类器，对于训练级联的强分类器（Cascade 

of Classifiers），OpenCV 采用的是 Paul Viola 等人的“Robust Real-Time Face Detection”中所

述方法。 

 HaarTraining 采用的是 OpenCV 扩展的Haar特征，具体描述可参考 Rainer Lienhart 等人

的“An Extended Set of Haar-like Features for Rapid Object Detection”。 

 

2.总体框架 

  要训练一个 Haar分类器，总体上包括 3 步：1)准备正负样本；2)用 CreateSamples 程序

建正样本集；3)用 HaarTraining 程序训练，得到最终的分类器模型（xml 文件） 。

 

 3.  样本准备 

 HaarTraining 需要使用正样本和负样本进行训练。下面分别进行描述。 

3.1正样本 

对于正样本，通常的做法是先把所有正样本裁切好，并对尺寸做规整（即缩放至指定大

小）

 

  由于 HaarTraining 训练时输入的正样本是 vec 文件，所以需要使用 OpenCV 自带的

CreateSamples程序将准备好的正样本转换为 vec文件。转换的步骤如下： 

1)  制作一个正样本描述文件，用于描述正样本文件名（包括绝对路径或相对路径） ，

正样本数目以及各正样本在图片中的位置和大小。典型的正样本描述文件如下： 

face_100/face00001.bmp 1 0 0 20 20 

face_100/face00002.bmp 1 0 0 20 20 

face_100/face00003.bmp 1 0 0 20 20 

… 

可采用 Dos命令结合 EditPlus 软件生成样本描述文件。具体方法是在 Dos下的恰当

目录敲入 dir face_100 /b > samples.dat，则会生成一个 samples.dat，里面包含所有正

样本文件名列表，但没有相对路径名和正样本位置信息。在 samples.dat 文件各行行

首增加“face _100/”的方法是使用 EditPlus，先选中所有行，然后按 Tab键为每行

增加一个制表位，然后将制表位全部替换为“face _100/”即可。通过将“bmp”替

换为“bmp 1 0 0 20 20”即可在每行添加“1 0 0 20 20”。 

 

2)  运行CreateSamples程序。如果直接在VC环境下运行，可以在Project/Settings/Debug

属性页的 Program arguments栏设置运行参数。下面是一个运行参数示例： 

-info F:/FaceDetect/samples.dat -vec F:/FaceDetect/samples.vec -num 200 -w 20 -h 20 

表示有 200 个样本，样本宽 20，高 20，正样本描述文件为 samples.dat，结果输出

到 samples.vec。 

 

3)  运行完了会生成一个*.vec 的文件。该文件包含正样本数目，宽高以及所有样本图像数据。 

 

3.2负样本 

  负样本图像可以是不含有正样本模式的任何图像，比如一些风景照等。训练时， OpenCV

需要一个负样本描述文件，该文件只需包含所有负样本的文件名及绝对（或相对）路径名。

以下是一个负样本描述文件内容示例： 

 nonface_200/00001.bmp 

nonface_200/00002.bmp 

nonface_200/00003.bmp 

 … 

  负样本描述文件的生成方法可参照正样本描述文件生成方法。 

 

负样本图像的大小只要不小于正样本就可以，在使用负样本时，OpenCV 自动从负样本

图像中抠出一块和正样本同样大小的区域作为负样本，具体可查看函数

icvGetNextFromBackgroundData（） 。具体抠图过程为： 

1)  确定抠图区域的左上角坐标(Point.x, Point.y) 

2)  确定一个最小缩放比例，使得原负样本图像缩放后恰好包含选中负样本区域 

3)  对原负样本图象按计算好的缩放比例进行缩放 

4)  在缩放后的图像上抠出负样本， 

4.  训练 

  准备好正样本集（即 samples.vec 文件），负样本集及其描述文件后，就可以看是训练了。

从下面的代码中可以看出训练时命令行参数列表。 

         printf( "Usage: %s/n  -data <dir_name>/n" 

                "  -vec <vec_file_name>/n" 

                "  -bg <background_file_name>/n" 

                "  [-npos <number_of_positive_samples = %d>]/n" 

                "  [-nneg <number_of_negative_samples = %d>]/n" 

                "  [-nstages <number_of_stages = %d>]/n" 

                "  [-nsplits <number_of_splits = %d>]/n" 

                "  [-mem <memory_in_MB = %d>]/n" 

                "  [-sym (default)] [-nonsym]/n" 

                "  [-minhitrate <min_hit_rate = %f>]/n" 

                "  [-maxfalsealarm <max_false_alarm_rate = %f>]/n" 

                "  [-weighttrimming <weight_trimming = %f>]/n" 

                "  [-eqw]/n" 

                "  [-mode <BASIC (default) | CORE | ALL>]/n" 

                "  [-w <sample_width = %d>]/n" 

                "  [-h <sample_height = %d>]/n" 

                "  [-bt <DAB | RAB | LB | GAB (default)>]/n" 

                "  [-err <misclass (default) | gini | entropy>]/n" 

                "  [-maxtreesplits <max_number_of_splits_in_tree_cascade = %d>]/n" 

                "  [-minpos <min_number_of_positive_samples_per_cluster = %d>]/n", 

                argv[0], npos, nneg, nstages, nsplits, mem, 

                minhitrate, maxfalsealarm, weightfraction, width, height, 

                maxtreesplits, minpos ); 

 

  如果在 VC 中进行调试，可采用第 3章介绍的方法设置命令行参数，我在调试时设置的

参数如下： 

-data F:/FaceDetect/trainout -vec F:/FaceDetect/samples.vec -bg F:/FaceDetect/negatives.dat 

-nstages 3 -nsplits 2 -minhitrate 0.999 -maxfalsealarm 0.5 -npos 100 -nneg 200 -w 20 -h 20 -mem 

512 -eqw 1 -mode ALL -bt GAB -minpos 50 

  为调试方便，正负样本数目用的非常少，正样本 100 个，负样本 200 个。通过查看

cvhaartraining.h 文件的 cvCreateCascadeClassifier 函数参数说明可进一步了解上述参数的含

义： 

/* 

 * cvCreateCascadeClassifier 

 * 

 * Create cascade classifier 

 * dirname          - directory name in which cascade classifier will be created. 

 *   It must exist and contain subdirectories 0, 1, 2, ... (nstages-1). 

 * vecfilename      - name of .vec file with object's images 

  4 * bgfilename       - name of background description file 

 * npos             - number of positive samples used in training of each stage 

 * nneg             - number of negative samples used in training of each stage 

 * nstages          - number of stages 

 * numprecalculated - number of features being precalculated. Each precalculated feature 

 *   requires (number_of_samples*(sizeof( float ) + sizeof( short ))) bytes of memory 

 * numsplits        - number of binary splits in each weak classifier 

 *   1 - stumps, 2 and more - trees. 

 * minhitrate       - desired min hit rate of each stage 

 * maxfalsealarm    - desired max false alarm of each stage 

 * weightfraction   - weight trimming parameter 

 * mode             - 0 - BASIC = Viola 

 *                    1 - CORE  = All upright 

 *                    2 - ALL   = All features 

 * symmetric        - if not 0 vertical symmetry is assumed 

 * equalweights     - if not 0 initial weights of all samples will be equal 

 * winwidth         - sample width 

 * winheight        - sample height 

 * boosttype        - type of applied boosting algorithm 

 *   0 - Discrete AdaBoost 

 *   1 - Real AdaBoost 

 *   2 - LogitBoost 

 *   3 - Gentle AdaBoost 

 * stumperror       - type of used error if Discrete AdaBoost algorithm is applied 

 *   0 - misclassification error 

 *   1 - gini error 

 *   2 - entropy error 

 */ 

 

4.1 训练的总体流程 

  图 4.1 是 HaarTraining 训练的一个简单流程。这个流程之所以是简单流程，因为只有当

用户是要建一个简单的级联分类器时才是这么一个流程。对于建树形强分类器，其流程比这

个要复杂，暂时没有去梳理它的流程。 

4.2 创建 Haar特征 

  函数 icvCreateIntHaarFeatures( winsize, mode, symmetric )负责创建所有可能的 Haar特

征。Mode 决定使用基本的 5 种特征还是所有 upright 特征抑或所有特征。Symmetric 为 1 时

表示只创建 Haar 特征的中心在左半部分的所有特征，为 0 时创建所有特征。当训练人脸图

像时，由于人脸的左右对称性可以设置 Symmetric 为 1，以加速训练。 

  在创建特征时，OpenCV对每种特征进行了文字描述，  在该函数中，有一段代码感觉有点问题： 

                    if ( (x+dx*2 <= winsize.height) && (y+dy <= winsize.width) ) { 

                        if (dx*2*dy < s0) continue; 

                        if (!symmetric || (y+y+dy <= winsize.width)) { 

                            haarFeature = cvHaarFeature( "haar_y2", 

                                y, x,    dy, dx*2, -1, 

                                y, x+dx, dy, dx,   +2 ); 

                            CV_WRITE_SEQ_ELEM( haarFeature, writer ); 

                        } 

                    } 

  从上面代码可看出，haar_y2 特征与haar_x2 关于对角线对称，当 winsize宽高不等时，

haar_y2 不能全部遍历到???。当然，对于宽高相等的情况不会有问题。 

  另外，对于旋转 Haar 特征的旋转矩形区域定义也有点疑惑，尤其是结合后面的积分图

像计算和用积分图像求任意旋转矩形区域像素和时，总觉得不是很完美。 

 

4.3 载入正样本 

int icvGetHaarTrainingDataFromVec( CvHaarTrainingData* data, int first, int count,                         

                                   CvIntHaarClassifier* cascade, 

                                   const char* filename, 

                                   int* consumed ) 

 

  7函数 icvGetHaarTrainingDataFromVec()负责从正样本集*.vec 文件中载入 count 个正样

本。在程序第一次运行到此（即训练第一个分类器之前）时，只要正样本集中有 count 个样

本，就一定能取出 count 个正样本。在以后运行到此时，有可能取不到 count 个样本，因为

必须是用前面的级联强分类器分类为正样本（即分类正确的样本）的样本才会被取出作为下

一个强分类器训练样本，具体可参考 icvGetHaarTrainingData 和

icvEvalTreeCascadeClassifierFilter函数。 

  传递返回值的 Consumed 参数表示为取 count 个正样本，查询过的正样本总数。 

 

  此外，函数内还通过调用 icvGetAuxImages 计算积分图像。 

 

  在此需要特别说明的是旋转 Haar 特征所用积分图像 RSAT 的计算方法。OpenCV 代码

中的方法与其文章中的方法有些差异，效率比文章中方法更高。在计算 RSAT 时，代码中采

用的是如下公式： 

]1[][),()1,1(),( + + + + − −= xbufxbufyxIyxRSATyxRSAT  

其中 是对角线像素灰度值之和，如下图所示：  ][xbuf

 

  此外，计算归一化因子时需要注意，OpenCV 没有用样本所有像素去计算标准差，而是

去除了边界一圈像素（normrect = cvRect( 1, 1, img->cols - 2, img->rows - 2 )），并且归一化因

子是标准差和归一化区域面积的乘积((*normfactor) =sqrt( valsqsum / area - ( valsum / are )^2 ) 

* area)，这样就去除了在检测时目标与样本大小不同的影响。 

4.4 载入负样本 

int icvGetHaarTrainingDataFromBG( CvHaarTrainingData* data, int first, int count, 

                                  CvIntHaarClassifier* cascade, double* 

acceptance_ratio ) 

 

  函数 icvGetHaarTrainingDataFromBG ()负责从负样本集中载入 count 个负样本。在程序

第一次运行到此（即训练第一个分类器之前）时，只要负样本集中有 count 个样本，就一定

能取出 count 个负样本。在以后运行到此时，有可能取不到 count 个样本，因为必须是用前

面的级联强分类器分类为正样本的样本（即分类错误的样本）才会被取出作为下一个强分类

  8器训练样本，具体可参考icvGetHaarTrainingDataFromBG和icvEvalTreeCascadeClassifierFilter

函数。 

  传递返回值的 acceptance_ratio 参数记录的是实际取出的负样本数与查询过的负样本数

之比（acceptance_ratio = ((double) count) / consumed_count），也就是虚警率，用于判断已训

练的级联分类器是否达到指标，若达到指标，则停止训练过程。 

  此外，函数内还通过调用 icvGetAuxImages计算积分图像。 

 

  注意函数 icvGetHaarTrainingDataFromBG中一个主要的 For 循环： 

        for( i = first; i < first + count; i++ ) //共读取 count 个负样本,当读取不到 

        {                            //这么多负样本时将出现死循环！ 

 

  对上面代码中的注释有必要进一步说明一下：只有当之前的强分类器对负样本集内的样

本全部分类正确时才会出现死循环。因为只要有一个样本会被错分为正样本，那么通过 count

次扫描整个负样本集就能得到 count 个负样本，当然这 count 个负样本实际上就是一个负样

本的 count 个拷贝。为避免这些情况的发生，负样本集中的样本数需要足够多。 

  在负样本图像大小与正样本大小完全一致时，假设最终的分类器虚警率要求是

falsealarm，参加训练的负样本要求是 count 个，则需要的负样本总数可计算如下： 

 TotalCount = count / falsealarm 

  以 Rainer Lienhart 的文章中的一些参数为例，falsealarm=0.5^20=9.6e-07, count=3000，

则 TotalCount=3000/(0.5^20)= 3,145,728,000=31 亿。 

 

 

当正负样本顺利载入，屏幕上会出现类似下面的输出界面： 

 

含义： 

POS(正样本):  取出的正样本数目  查询过的正样本数目  两者之比 

NEG(负样本):  取出的负样本数目  查询过的负样本数目  两者之比 

上面的输出由下面两行代码得到： 

{ 

                printf( "POS: %d %d %f/n", poscount, consumed, ((double) 

poscount)/consumed ); 

                printf( "NEG: %d %g/n", negcount, false_alarm ); 

    // false_alarm  = ((double) negcount) / consumed_negcount; 

} 

 

4.5 计算 Haar特征值 

void icvPrecalculate( CvHaarTrainingData* data, CvIntHaarFeatures* haarFeatures, 

                      int numprecalculated ) 

 

  函数 icvPrecalculate ()负责计算所有取出的正负样本的前 numprecalculated个 Haar特征

  9值（由 icvGetTrainingDataCallback 实现），并且对每种特征，将所有样本标号按其特征值升

序排序（由 cvGetSortedIndices实现，每种特征分别排序）。 

 

Numprecalculated 的计算公式如下： 

    numprecalculated = (int) ( ((size_t) mem) * ((size_t) 1048576) / 

        ( ((size_t) (npos + nneg)) * (sizeof( float ) + sizeof( short )) ) ); 

其中 mem  是内存大小，以 M 为单位，1048576=1024*1024，表示 1M 字节。sizeof( float )

为保存一个特征值需占用的字节数，sizeof( short )表示对特征值排序后保存一个排序序号需

占用的字节数。 

4.6 训练一个强分类器 

CvIntHaarClassifier* icvCreateCARTStageClassifier( CvHaarTrainingData* data, 

                                                   CvMat* sampleIdx, 

                                                   CvIntHaarFeatures* haarFeatures, 

                                                   float minhitrate, 

                                                   float maxfalsealarm, 

                                                   int   symmetric, 

                                                   float weightfraction, 

                                                   int numsplits, 

                                                   CvBoostType boosttype, 

                                                   CvStumpError stumperror, 

                                                   int maxsplits ) 

 

  函数 icvCreateCARTStageClassifier 负责训练一个强分类器。 

 

 

4.7保存强分类器信息到临时文件中 

  函数 icvSaveStageHaarClassifier 负责将新训练得到的强分类器信息保存到临时文件

AdaBoostCARTHaarClassifier.txt 中。icvSaveStageHaarClassifier 首先根据当前强分类器在级

联强分类器中序号(cur_node->idx)在 dirname 目录下创建一个文件夹，然后在该文件夹下创

建 AdaBoostCARTHaarClassifier.txt 文件，并将强分类器信息写到这个文件中。 

 

4.8 将级联强分类器信息写到一个 XML 文件中  

  首先是从先前保存的临时文件中读取级联强分类器信息（ cascade = 

cvLoadHaarClassifierCascade( dirname, cvSize(winwidth,winheight) )  ）然后用

cvSave( xml_path, cascade )将级联强分类器信息保存到 xml 文件中。至此，整个训练部分完

毕。 

4.9 测试最终分类器性能 

  这部分工作通过简单地调用两个函数实现。调用 icvGetHaarTrainingDataFromVec 测试

检出率；通过调用 icvGetHaarTrainingDataFromBG测试虚警率。 

 

5.  参考文献 

•  Paul Viola and Michael J. Jones. Robust Real-Time Face Detection. International Journal 

of Computer Vision, Vol. 57, pp.137-154, May 2004. 

•  Richard O. Duda, Peter E. Hart, David G. Stork. Pattern Classification, 2nd Edition, 

November 2000. 

•  Rainer Lienhart and Jochen Maydt. An Extended Set of Haar-like Features for Rapid 

Object Detection. IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002. 

•  Friedman, J. H., Hastie, T. and Tibshirani, R. Additive Logistic Regression: a Statistical

View of Boosting. Technical Report, Dept. of Statistics, Stanford University, 1998. 

•  OpenCV Source Code, Intel, 2007. 

  12