决策树（ID3 C4.5 CART）

决策树(decision tree)是一种基本的分类与回归方法

——用于分类的决策树

决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程

可以被认为是if-then规则的集合，也可以是定义在特征空间与类空间上的条件概率分布

——损失函数最小化原则

步骤：特征选择、决策树的生成、决策树的剪枝

Quinlan在1986年提出的ID3算法和1993年提出的C4.5算法,Breiman等人在1984年提出的CART算法

决策树模型



决策树由结点和有向边组成

结点由内部结点(特征和属性)和叶结点(类)组成

决策树与条件概率分布






决策树学习

决策树学习用损失函数表示这一目标——通常是正则化的极大似然函数

损失函数确定后，学习问题转为损失函数意义下选择最优决策树

——从所有可能的决策树中选取最优决策树是NP完全问题，所以通常用启发式方法，近似求解，得到次最优解

一种方法

构建根结点，所有训练数据嚷道根结点
选择一个<strong>最优特征</strong>
根据特征分割训练数据为不同子集——当前最好分类
if 子集基本分类，then构造叶结点
if not <strong>重选特征</strong>继续分割
递归
生成决策树<em>

</em>

以上方法生成决策树对训练数据有很好分类能力，但对未知数据可能发生过拟合现象——预测能力

所以需要自下而上剪枝，让树更简单，从而增强泛化能力——去掉过于细分的结点，回退父结点

如果特征数量过多，开始对特征进行选择

算法包括：特征选择、决策树的生成、决策树的剪枝

——决策树生成考虑局部最优，剪枝考虑全局最优

特征选择

信息熵

信息熵是随机变量的期望。度量信息的不确定程度。

信息的熵越大，信息就越不容易搞清楚。处理信息就是

为了把信息搞清楚，就是熵减少的过程。

Entropy(X) = -Sum(p(xi) * log(p(xi))) {i: 0 <= i <= n}

p(x)是概率密度函数；对数是以2为底；

信息增益

用于度量属性A降低样本集合X熵的贡献大小。信息增益

越大，越适于对X分类。

Gain(A, X) = Entropy(X) - Sum(|Xv| / |X| * Entropy(Xv)) {v: A的所有可能值}

Xv表示A中所有为v的值；|Xv|表示A中所有为v的值的数量；

信息增益比

训练数据的经验熵大的时候信息增益会偏大，反之偏小。

需要信息增益比校正

Gain-ratio(A,
X) =Gain(A, X)/H(D)

选择信息增益（比）较大者为最优特征

决策树的生成

ID3算法：

输入：训练数据集D，特征集A，阈值<strong>ε</strong>
输出：决策树T
1）若D中所有实例属于同一类Ck，则T为单节点树，并将Ck作为该结点的类标记，返回T
2）若A是空集，则T为单节点树，并将D中实例数最大的类Ck作为该结点的类标记，返回T
3）否则，计算A中各特征对D的信息增益，<strong>选择信息增益最大的特征Ag</strong>
4）如果Ag的信息增益小于阈值ε，则同 2）
5）否则，对Ag的每一可能值ai，依<strong>Ag=ai将D分割</strong>为若干非空子集Di，Di中实例数最大的类作为标记，构建子结点，由结点及其子结点构成树T
6）对第i个子结点，以Di为训练集，以<strong>A-{Ag}为特征集，递归调用</strong>1）~5），得到子树，返回Ti

援引Quinlan的论文的例子。

假设，有种户外活动。该活动能否正常进行与各种天气因素有关。

不同的天气因素组合会产生两种后果，也就是分成2类：能进行活动或不能。

我们用P表示该活动可以进行，N表示该活动无法进行。

下表描述样本集合是不同天气因素对该活动的影响。

Attribute class

outlook temperature humidity windy

---------------------------------------------------------

sunny hot high false N

sunny hot high true N

overcast hot high false P

rain mild high false P

rain cool normal false P

rain cool normal true N

overcast cool normal true P

sunny mild high false N

sunny cool normal false P

rain mild normal false P

sunny mild normal true P

overcast mild high true P

overcast hot normal false P

rain mild high true N

2

该活动无法进行的概率是：5/14

该活动可以进行的概率是：9/14

因此样本集合的信息熵是：-5/14log(5/14) - 9/14log(9/14) = 0.940

3

接下来我们再看属性outlook信息熵的计算：

outlook为sunny时，

该活动无法进行的概率是：3/5

该活动可以进行的概率是：2/5

因此sunny的信息熵是：-3/5log(3/5) - 2/5log(2/5) = 0.971

同理可以计算outlook属性取其他值时候的信息熵：

outlook为overcast时的信息熵：0

outlook为rain时的信息熵：0.971

属性outlook的信息增益：gain(outlook) = 0.940 - (5/14*0.971 + 4/14*0 + 5/14*0.971) = 0.246

相似的方法可以计算其他属性的信息增益：

gain(temperature) = 0.029

gain(humidity) = 0.151

gain(windy) = 0.048

信息增益最大的属性是outlook。

4

根据outlook把样本分成3个子集，然后把这3个子集和余下的属性

作为输入递归执行算法。

C4.5生成算法

较ID3

用信息增益比代替信息增益

决策树剪枝

生成算法对训练数据分类很准确，但对未知的测试数据的分类却没那么准确，过拟合现象。

由于过多考虑训练数据的准确分类，而构建出过于复杂的决策树。

考虑决策树的复杂度，对已生成的决策树进行简化——剪枝，剪枝从已生成的树上裁掉一些子树和叶结点，并将其根结点或父结点作为新的叶结点

简单的剪枝算法

——极小化决策树整体的损失函数或代价函数来实现。



算法：

输入：生成算法产生整个树T，参数α
输出：修剪后的子树Tα
1）计算每个结点的经验熵
2）递归地从树的叶结点向上回缩
3）返回2），直至不能继续为止

只需考虑两个树的损失函数之差，其计算可以在局部进行，所以决策树的剪枝算法可以由一种动态规划的算法实现

CART算法

平方误差作为训练数据的预测误差





基尼指数作为训练数据的预测误差


、】