信息增益以及决策树算法-机器学习实战（python）

信息增益：信息熵和条件熵的差值就是信息增益，主要含义是指期望信息或者信息上的有效减少量，根据他来 确定在什么样的层次上选择什么样的变量来分类。

计算过程我通过一个例子来展现出来

现在 还没有划分数据集，计算信息熵按照公式为
Entropy(S)=-9/14*log2（9\14）-9/14*log2（9\14）

当Wind固定为Weak时：记录有8条，其中yes为6个，NO为2个；

同样，取值为Strong的记录6个，正例负例个3个。我们可以计算相应的熵为：

Entropy(Weak)=-(6/8)*log(6/8)-(2/8)*log(2/8)=0.811

Entropy(Strong)=-(3/6)*log(3/6)-(3/6)*log(3/6)=1.0

现在就可以计算出相应的信息增益了：

所以，对于一个Wind属性固定的分类系统的信息量为 (8/14)*Entropy(Weak)+(6/14)*Entropy(Strong)

然后信息增益为Gain(Wind)=Entropy(S)-(8/14)*Entropy(Weak)-(6/14)*Entropy(Strong)=0.940-(8/14)*0.811-(6/14)*1.0=0.048

其他特征也是这样计算

决策树代码详解

#coding:utf-8
from math import log
import operator
def createDataSet():#定义结构列表
dataSet = [[1, 1, 'yes'],
[1, 1, 'yes'],
[1, 0, 'no'],
[0, 1, 'no'],
[0, 1, 'no']]
labels = ['no surfacing', 'flippers']
return dataSet, labels
def calcShannonEnt(dataSet):
numEntries = len(dataSet)#长度
labelCounts = {}
for featVec in dataSet: # 添加每列的标签
currentLabel = featVec[-1]
if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0#没有的话创建新的标签为0
labelCounts[currentLabel] += 1#计算标签数量
shannonEnt = 0.0
for key in labelCounts:
prob = float(labelCounts[key]) / numEntries#每个标签所占概率
shannonEnt -= prob * log(prob, 2) # 计算乘积
return shannonEnt
def splitDataSet(dataSet, axis, value):#划分数据集
retDataSet = []
for featVec in dataSet:#逐行读取
if featVec[axis] == value:# axis为列数
reducedFeatVec = featVec[:axis] #因为列表语法,所以实际上是去除第axis列的内容
reducedFeatVec.extend(featVec[axis + 1:])#扩展列表
retDataSet.append(reducedFeatVec)#添加列表
return retDataSet
def chooseBestFeatureToSplit(dataSet): #选择最好的数据集划分方式
numFeature = len(dataSet[0])-1
baseEntropy = calcShannonEnt(dataSet)
bestInfoGain = 0.0
beatFeature = -1
for i in range(numFeature):
featureList = [example[i] for example in dataSet] #获取第i个特征所有的可能取值
# example[0]=[1,1,1,0,0],example[1]=[1,1,0,1,1]
uniqueVals = set(featureList) #set函数去重
newEntropy = 0.0
for value in uniqueVals:
subDataSet = splitDataSet(dataSet,i,value) #以i为数据集特征，value为值，划分数据集
prob = len(subDataSet)/float(len(dataSet)) #数据集特征为i的所占的比例
newEntropy +=prob * calcShannonEnt(subDataSet) #计算每种数据集的信息熵
infoGain = baseEntropy- newEntropy
#计算最好的信息增益，增益越大说明所占决策权越大
if (infoGain > bestInfoGain):#全部为正
bestInfoGain = infoGain
bestFeature = i
return bestFeature#返回最好的特征
def majorityCnt(classList): #递归构建决策树
classCount = {}
for vote in classList:
if vote not in classCount.keys():
classCount[vote]=0
classCount[vote]+=1
sortedClassCount = sorted(classCount.iteritems(),key =operator.itemgetter(1),reverse=True)#排序，True升序
return sortedClassCount[0][0] #返回出现次数最多的
def createTree(dataSet,labels): #创建树的函数代码
classList = [example[-1] for example in dataSet]#最后一行的标签
if classList.count(classList[0])==len(classList): #所有的类标签完全相同，count函数返回元素出现的次数
return classList[0]
if len(dataSet[0]) ==1: #遍历完所有特征值时返回出现次数最多的，只有标签的时候
return majorityCnt(classList)
bestFeat = chooseBestFeatureToSplit(dataSet) #选择最好的数据集划分方式,重新划分key
bestFeatLabel = labels[bestFeat] #对应的特征名称
myTree = {bestFeatLabel:{}}#字典传入
del(labels[bestFeat]) #删除labels[bestFeat],在下一次使用时清零
featValues = [example[bestFeat] for example in dataSet]#按照最好的特征划分
uniqueVals = set(featValues)#去重
for value in uniqueVals:
subLabels =labels[:]#剩余的
#递归调用创建决策树函数
myTree[bestFeatLabel][value]=createTree(splitDataSet(dataSet,bestFeat,value),subLabels)#去除最好的特征后的数据集
return myTree#循环使用