【机器学习系列之六】决策树中的特征选择及树的剪枝（）

决策树的分类

特征选择

树的剪枝

小结一下

决策树的学习主要包含三个方面，分别是特征选择，决策树生成，和决策树的剪枝。我们首先介绍一下决策树是怎么分类的，然后详细介绍一下决策树的学习过程。

决策树的分类（决策树也可以用于回归）

决策树是一种常用算法，很多集成算法的底层就是决策树，比如GBDT，XGBoost,因此了解决策树是如何分类的就变得尤为重要了。

决策问题一般的判定为“是”或者”不是”，这是简单的二分类问题。比如，老板让你去买一个西瓜，你怎么知道这个是好瓜，或不是好瓜。

因此，你就有了一些判定标准，比如，根据瓜的外观，可以看一下它的色泽是怎么样的，根蒂是什么样的，根据瓜的内里，可以看一下它的敲声是怎么样的。这里的色泽，根蒂，敲声是判定一个瓜是好瓜的标准，我们称它为此次决策的特征。如果他是好瓜，那它的决策树应该是这样的。如图：


决策树学习的目的就是找到一颗泛化能力强的树，所谓的泛化能力强，就是在新数据上的分类效果与训练数据上的分类效果相差不大。而决策树的思想是“分而治之”。

它的学习过程是这样的，先找到一个最优特征，根据这个最优特征对数据进行分割，比如前面西瓜的例子，如果选择色泽作为最优特征，假设色泽分为青绿色和黄色，青绿色是好瓜，黄色不是好瓜，那么第一次分类，算法就会把数据分割成两个部分，分别是青绿色的瓜和黄色的瓜。但是仅仅一个特征并没有把数据完美的进行分类，因此就需要第二个最优特征对数据进行再划分，以此类推，直到所有的训练数据子集都被基本分类正确之后，就生成了一个决策树。

特征选择

信息熵

决策树学习的第一大问题是：怎么找到这样的最优划分特征呢？如何来衡量最优？

什么是最优特征，通俗的理解是对训练数据具有很强的分类能力的特征，比如要看一个男明星和一个女明星是否会在一起，他们的年龄差这个特征就远比他们的出生地重要，因为年龄差能更好得对 明星是否会在一起 这个分类问题具有更强的分类能力。

但是计算机并不知道哪些特征是最优的，因此，就要找一个衡量特征是不是最优的指标，使得决策树在每一个分支上的数据尽可能属于同一类别的数据，即样本纯度最高。

我们用熵来衡量样本集合的纯度。

这是概率统计与信息论中的一个概念，定义为：H(X)=−∑i=0npilog2pi,其中p(x)=pi表示随机变量X发生概率。

我们可以从两个角度理解这个概念。

第一就是不确定度的一个度量，我们的目标是为了找到一颗树，使得每个分枝上都代表一个分类，也就是说我们希望这个分枝上的不确定性最小，即确定性最大，也就是这些数据都是同一个类别的。熵越小，代表这些数据是同一类别的越多。

第二个角度就是从纯度理解。因为熵是不确定度的度量，如果他们不确定度越小，意味着这个群体的差异很小，也就是它的纯度很高。比如，一个高级商业聚会，来的人大多是商业精英，乞丐就会很少，如果新来了一个人，他是精英的确定性就很大，不确定性就很小，同时这个群体的纯度很大。总结来说就是熵越小，纯度越大，而我们希望的就是纯度越大越好。

信息增益

我们用信息熵来衡量一个分支的纯度，那哪个特征是最优的特征呢？

在决策树学习中应用信息增益准则来选择最优特征。信息增益定义如下:g(D,A)=H(D)−H(D|A),表示特征A对训练数据集D的信息增益g(D,A) 等于D的不确定度H（D） 减去给定条件A下D的不确定度H（D|A），可以理解为由于特征A使得对数据集D的分类的不确定性减少的程度,信息增益大的特征具有更强的分类能力。

具体计算如下：

如图所示：


从这17个西瓜中任选一个，是好瓜,坏瓜的概率分别是P1=8/17，p2=9/17,这17个样本用D表示，它的信息熵为H(D)=−P(好瓜)log2(P(好瓜))−P(坏瓜)log2(P(坏瓜))=0.988接着计算一个特征的信息熵，以色泽为例：

H(D|色泽=青绿)=−P(是好瓜且色泽为青绿)log2(P(是好瓜且色泽为青绿))−P(是坏瓜且色泽为青绿)log2(P(是坏瓜且色泽为青绿))=−（36∗log236+36∗log236）=1.000

其他同理有H(D|色泽=乌黑)=0.918，H（D|色泽=浅白）=0.722

g(D,色泽)=H（D）−（H(D|色泽=青绿)+H(D|色泽=乌黑)+H（D|色泽=浅白））=0.109

同样的方法，可以计算其他特征的信息增益，然后选择信息增益最大的作为本次划分的最优特征。在决策树算法中，ID3算法就是使用信息增益来划分属性的。

信息增益率

前面的信息增益选择特征倾向于选择取值较多的特征，因此有了信息增益率来矫正这一问题。

以计算色泽的信息增益比为例：

gr(D,A)=g(D,A)HA(D),其中HA(D)=−∑i=1n|Di||D|∗log2|Di||D|,n为特征A取值的个数，在色泽的案例中n=3。

代入公式得gr(D,色泽)=g(D,A)−2∗617∗log2617−517∗log2517

C4.5决策树使用的就是信息增益率来选取特征。

GINI指数

概率分布的基尼指数定义为gini(p)=1−∑k=1Kpk2其中K表示分类问题中类别的个数，在西瓜这个例子中K=2。

对于给定的集合D，在西瓜的例子中D=17，色泽对应的基尼系数为Gini(D,色泽)=色泽为青绿的样本17∗Gini(色泽为青绿的样本)+色泽为乌黑的样本17∗Gini(色泽为乌黑的样本)+色泽为浅白的样本17∗Gini(色泽为浅白的样本)

其中可以计算Gini(色泽为青绿的样本)=1−P（色泽为青绿且为坏瓜）2−P（色泽为青绿且为好瓜）2代入上式即可计算色泽这一特征的基尼系数了。

基尼系数标志集合的不确定性，基尼指数越大，集合的不确定性就越大，这一特点与熵类似，因此用也可以用它来选择最优分类特征。CART(Classificcation And Regression Tree)算法就是用基尼指数选择特征的。

3.树的剪枝

决策树生成只考虑了通过信息增益或信息增益比来对训练数据更好的拟合，但没有考虑到如果模型过于复杂，会导致过拟合的产生。而剪枝就是缓解过拟合的一种手段，单纯的决策树生成学习局部的模型，而剪枝后的决策树会生成学习整体的模型，因为剪枝的过程中，通过最小化损失函数，可以平衡决策树的对训练数据的拟合程度和整个模型的复杂度。

决策树的损失函数定义如下：

用T表示一颗决策树，t表示树T的叶节点。Ca(T)=∑t=1|T|NtHt(T)+a|T|=∑t=1|T|叶节点t上的样本数∗在节点t处树T的经验熵+a∗模型复杂度

其中Ht(T)=−∑k叶节点t上属于第k类的样本数叶节点上的样本数∗log2叶节点t上属于第k类的样本数叶节点上的样本数

4小结一下

ID3算法使用信息增益的方法来进行特征属性的选择，而C4.5则采用信息增益率来 进行特征属性的选择，克服了ID3算法的不足：ID3算法只适用于离散的特征属性，而C4.5既可用于处理离散的属性，也可用于处理连续的属性。

CART算法是一种高效的非参数分类／回归方法。通过构建树，修剪树，评估树来生成一个二叉树。当终节点是连续变量时，则该树为回归树，当终节点为离散变量时，该树为分类树。