ROC曲线

在评价预测效果时，除了准确率、召回率之外，还有ROC曲线，我们先来看一下ROC的画法：

为了比较分类模型的效果，人们相应地引入了ROC（receiver operatingcharacteristic）曲线。ROC曲线是一种比较两个分类模型的有用的可视工具。ROC曲线源于信号检测理论，是第二次世界大战期间为雷达图像分析开发的。ROC曲线显示了给定模型的真正率或灵敏度（正确识别的正元组的比例）与假正率（不正确的识别为正元组的负元组的比例）之间的比较评定。也就是说，给定一个二类问题，我们可以对检验集的不同“部分”，显示模型可以正确识别“yes”实例的比例与模型将“no”实例错误地识别为“yes”的比例之间的比较评定。真正率的增加以假正率的增加为代价。ROC曲线下面的面积是对模型准确率的一种度量，被定义为AUROC（area
under roc curve）。

为了绘制给定分类模型M的ROC曲线，模型必须能够返回每个检验元组的预测类的概率或秩评定。也就是说，需要对检验元组按递减序确定秩，其中分类器认为最可能属于正类或“yes”类的元组出现在列表顶部。ROC曲线的垂直轴表示真正率，水平轴表示假正率。M的ROC曲线按以下方法绘制。从左下角开始（这里，真正率和假正率都为0），检查列表顶部元组的实际类标号。如果它是真正元组（即正确分类的元组），则在ROC曲线上，向上移动并绘制一个点。如果元组实际属于“no”类，则有一个假正元组。在ROC曲线上，向右移动并绘制一个点。对每个检验元组重复该过程，每次对真正元组在曲线上向上移动，对假正元组向右移动。

下面是ROC.cpp程序，用于画出ROC曲线，其中输入文件按第一列降序排列：

#include <iostream>
#include <math.h>
#include <fstream>
#include <string>

using namespace std;

double trapezoid(double x1,double x2,double y1,double y2){
double a=fabs(x1-x2);
double b=fabs(y1+y2);
return a*b/2;
}

int main(int argc,const char*argv[]){
double fp=0,fp_pre=0,tp=0,tp_pre=0;
double score_pre=-10000;
double auc=0;
ifstream fin;
string file="./"+string(argv[1]);
fin.open(file.c_str());
string line;
int N=0;
int P=0;
while(getline(fin,line,'\n')){
char * linechars=new char[line.size()+1];
strcpy(linechars,line.c_str());
char * token=strtok(linechars,",");
unsigned int score=atoi(token);
token =strtok(NULL,",");
unsigned int target=atoi(token);
if(target>=1){
P++;
}else{
N++;
}
delete linechars;
}
fin.close();
fin.open(file.c_str());
while(getline(fin,line,'\n')){
char * linechars=new char[line.size()+1];
strcpy(linechars,line.c_str());
char * token=strtok(linechars,",");
double score=atof(token);
token =strtok(NULL,",");
unsigned int target=atoi(token);
if(score != score_pre){
cout<<fp/N<<"\t"<<tp/P<<endl;
auc+=trapezoid(fp,fp_pre,tp,tp_pre);
score_pre=score;
fp_pre=fp;
tp_pre=tp;
}
if(target==1){
tp=tp+1;
}else{
fp=fp+1;
}
delete linechars;
}
fin.close();
auc=(auc/N)/P;
auc = auc + trapezoid(1,fp_pre/N,1,tp_pre/P);
cout<<1<<"\t"<<1<<endl;
cout<<auc<<endl;
return 0;
}

另外，对于有监督学习的方法，常常有有一些软件包提供ROC曲线的画法，例如：spss、weka等。