一种简化决策树ROC的方法

本方法来自论文：Learning Decision Trees Using the Area Under the ROC Curve

以下仅作为个人的一些理解，如有谬误，忘不吝赐教。

该方法可普遍用于两个classes，多个leaves的决策树。

论文第二部分主要告诉我们如何寻找最优决策树的labellings，并且通过这个最优的labellings可以直接画出简化后的决策树的ROC，而不用寻找所有可能的labellings(所有可能个数为2^n，2为classes数量，n为leaves的数量)。并且证明了：

1. labelling是最小的成本根据训练集合(training set)

2.任意成本矩阵(稍后会解释)属于最优labellings 的集合。

3.在三个labellings里(Si-1，Si，Si+1)，Si 对应了ROC空间里的点。

4.如果两个labelling是相同时，不需要考虑这个点在ROC空间上。

5.如果在决策树的叶子具有相同的局部正精度(local positive accuracy)(稍后会解释)，我们可以删除这个重复的叶子。

Tip: Labelling is a set of assignments to each tree leaf

工程上来说不需要论文里的证明，下面我们将通过例子来展示该方法是如何运用的。

Example：假设我们有一个两类(+和-)三叶子(leaf1,leaf2,leaf3)的决策树，训练数据的分布如表所示：



第一步：重新排列叶子

排列原则是根据局部正精度(local positive accuracy)表示为：


上表中三个叶子的局部正精度分别为：leaf1 = 3/(3+5), leaf2 = 5/(5+1),leaf3=4/(4+2)

按照从大到小顺序重新排列叶子得到如下新表：

第二步：定义最优labellings = {S0,S1,…Sn}(n是叶子的数量)，新表如下：


第三步：定义每个labelling为Si=

，Si (0≤i≤n)

如果j≤i,

=(j,+) 即第j个叶子为+。 如果j>i,

=(j,-)
即第j个叶子为-。

计算所有的Si并且更新表格如下：





第四步：定义成本矩阵(Cost matrices)


矩阵上面两个分别代表真实值是+和-，左边是预测值的+和-。

C++表示预测值是+并且真实值也是+，即true positive，

C+-表示预测值是+但是真实值是-

C-+表示预测值是-但是真实值是+，即false positive，

C--表示预测值是-并且真实值也是-

并且计算FPR(false positive rate)即：

,TPR(true positive rate)即：


预测值就是第三步中的Si，预测值已经通过第三步给出来了，结果详见第三步下边的表格。

下面我们就可以根据不同的预测值来选择的门限(threshold)来更新成本矩阵：



第五步：以FRP为横坐标，TPR为纵坐标。绘制出ROC点，连接每个点就画出了ROC曲线。

下图是论文中的图，但不匹配计算出的FPR,TPR。方法是对的，但不知是否忽略了什么，欢迎各位提建议指正。


原文发于博客：http://blog.csdn.net/u013787595

GMX 2014.3.22 US Eastern Time