Windows下测试算法在FDDB数据库的性能

土鳖一只，开发只用过Windows操作系统。

公司要提交人脸检测算法在FDDB数据库上的性能，时间赶，来不及学习linux啥啥了，在Windows下磕磕绊绊弄好了。

记录一下，免得一转眼又忘了。

1. 首先，FDDB官网上，下载图片和标注文件：
http://vis-www.cs.umass.edu/fddb/
FDDB的标注文件，分为图片名称文件FDDB-fold-01.txt、对应的标注文件：FDDB-fold-01-ellispe.txt，各有10个，我在这里做了合并，分别命名为Fold_all.txt和Elsp.txt.

2. 人脸检测

读Fold.txt文件，依照顺序做人脸检测，将检测结果输出出来，格式如下：

<image name i>
<number of faces in this image =im>
<face i1>
<face i2>
...
<face im>

<face im>的表达形式有以下两种：
4 a. Rectangular regions
Each face region is represented as:
<left_x top_y width height detection_score>

4 b. Elliptical regions
Each face region is represented as:
<major_axis_radius minor_axis_radius angle center_x center_y detection_score>.

这里要注意detection_score这个值，必须是个有参考意义的分数，不能像它的标注文件一样置为1，否则ROC曲线出不来。

3. 然后就要进行到本文的重点了：运行评估程序，生成ROC曲线

在FDDB官网上下载评估程序：http://vis-www.cs.umass.edu/fddb/evaluation.tgz

尽管FDDB官网上FAQ做了说明，虽然我用mingw成功编译了evaluation，但是后续用perl生成ROC曲线脚本仍然有非windows的命令，所以这里我放弃了mingw的方法。

转而使用了我最熟悉的vs。

建立VS工程FDDBEvaluation，将evaluation中的源码添加到工程，配置OPENCV等，修改main函数里以下内容：

string baseDir = "F:/Data/FDDB/";

string listFile = "D:/fold_all.txt";

string detFile = "D:/output.txt";

string annotFile = "D:/Elsp_all.txt";

还要注意 detFormat = DET_RECTANGLE; 如果你的检测输出是椭圆，这里就要改成椭圆。

编译通过，运行。

运行结束之后，生成两个ROC文件：

DiscRoc.txt和ContRoc.txt，这就是最终要画图ROC的数据。

4. 生成ROC图数据

安装perl，我装的是strawberry-perl-5.22.0.1-64bit，网上搜索下载就行。

然后，修改官网提供的runEvaluate.pl，否则有些命令执行不了。。。

我修改后是这样的：

#!/usr/bin/perl -w

use strict;

#### VARIABLES TO EDIT ####

# where gnuplot is

my $GNUPLOT = "D:/Program Files (x86)/gnuplot/bin/gnuplot";

# where the binary is

my $evaluateBin = "evaluate";

# where the images are

my $imDir = "F:/Data/FDDB";

# where the folds are

my $fddbDir = "F:/Data/FDDB/FDDB-folds";

# where the detections are

my $detDir = "D:/";

###########################

my $detFormat = 0; # 0: rectangle, 1: ellipse 2: pixels

sub makeGNUplotFile

{

my $rocFile = shift;

my $gnuplotFile = shift;

my $title = shift;

my $pngFile = shift;

open(GF, ">$gnuplotFile") or die "Can not open $gnuplotFile for writing\n";

#print GF "$GNUPLOT\n";

print GF "set term png\n";

print GF "set size .75,1\n";

print GF "set output \"$pngFile\"\n";

#print GF "set xtics 100\n";

#print GF "set logscale x\n";

print GF "set ytics .1\n";

print GF "set grid\n";

#print GF "set size ratio -1\n";

print GF "set ylabel \"True positive rate\"\n";

print GF "set xlabel \"False positives\"\n";

#print GF "set xr [0:500]\n";

print GF "set yr [0:1]\n";

print GF "set key right bottom\n";

print GF "plot \"$rocFile\" using 2:1 title \"$title\" with lines lw 2 \n";

close(GF);

}

my $gpFile = "D:/ContROC.p";

my $gpFile1 = "D:/DiscROC.p";

my $title = "zhouzhou";

# plot the two ROC curves using GNUplot

makeGNUplotFile("D:/ContROC.txt", $gpFile, $title, $detDir."ContROC.png");

makeGNUplotFile("D:/DiscROC.txt", $gpFile1, $title, $detDir."DiscROC.png");

然后，cmd->perl runEvaluate.pl

酱紫地：

然后就发现生成了两个.p文件：

5. 画ROC曲线

安装GUNPLOT，我装的gp501-win32-mingw。

打开刚才生成的两个.p文件，file->output，将可以看见生成的ROC曲线啦。

6.以上基本完工，如果想将自己的结果与官网上其他公司公布的结果画在一起，在官网上下载ContROC.p,DiscRoc.p等，用写字板打开之后，将自己的检测结果添加进去，同样用gnuplot画出来就行。