机器学习:决策树python实现

def createDataSet():
dataSet = [[1, 1, 'yes'],
[1, 1, 'yes'],
[1, 0, 'no'],
[0, 1, 'no'],
[0, 1, 'no']]
# 下面的标签labels主要是对应dataset上的1和0，yes和no代表的是标签
labels = ['no surfacing','flippers']
return dataSet, labels

//计算数据集的信息熵
def calcShannonEnt(dataSet):
numEntries = len(dataSet)
labelCounts = {}
for featVec in dataSet: //主要是实现对标签的计数
currentLabel = featVec[-1]//这里对应数据标签
if currentLabel not in labelCounts.keys():
//当前的标签还不存在在labelcounts中
labelCounts[currentLabel] = 0
labelCounts[currentLabel] += 1
shannonEnt = 0.0
for key in labelCounts://计算信息熵
//每个标签所占比率计算
prob = float(labelCounts[key])/numEntries
shannonEnt -= prob * log(prob,2)
return shannonEnt

//按照不同的属性列划分数据 axis--列索引，value--当前的列所对应的数据
def splitDataSet(dataSet, axis, value):
retDataSet = []
for featVec in dataSet:
//属性列中不同的数据进行不同的划分
if featVec[axis] == value:
//数据的从新组合--去掉当前的value。
//[1,2,3]-->[1,3]-->用数值2去划分
reducedFeatVec = featVec[:axis]
reducedFeatVec.extend(featVec[axis+1:])
retDataSet.append(reducedFeatVec)
return retDataSet

//选择最好的划分属性所对应的索引-->也就是选择划分前后entory变化最大的划分
def chooseBestFeatureToSplit(dataSet):
numFeatures = len(dataSet[0]) - 1//特征的个数
baseEntropy = calcShannonEnt(dataSet)//计算当前data的entory
bestInfoGain = 0.0; bestFeature = -1
for i in range(numFeatures)://对不同的特征进行遍历
featList = [example[i] for example in dataSet]//找出当前特征下所对应的数值
uniqueVals = set(featList)//去掉相同的数值
newEntropy = 0.0
for value in uniqueVals:
//对特征i下不同的value进行划分数据，在计算划分之后的entory
subDataSet = splitDataSet(dataSet, i, value)
//划分之后每个数据集所占的比例
prob = len(subDataSet)/float(len(dataSet))
//计算划分之后的entory
newEntropy += prob * calcShannonEnt(subDataSet)
//计算划分前后entory的差
infoGain = baseEntropy - newEntropy
if (infoGain > bestInfoGain):
bestInfoGain = infoGain
bestFeature = i
return bestFeature

//考虑到存在就算划分到最后，有些节点的还会存在两种以上的label
//那就找出划分之后节点中label最多的那个label
def majorityCnt(classList):
classCount={}
for vote in classList://计算每个label所对应的个数
if vote not in classCount.keys(): classCount[vote] = 0
classCount[vote] += 1
//进行排序
sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]

def createTree(dataSet,labels):
//找出当前数据中存在的labels
classList = [example[-1] for example in dataSet]
//只有一种label的话也就代表当前的data停止划分
if classList.count(classList[0]) == len(classList):
return classList[0]
//当前的data中只有一个特征，就不要再划分了。
if len(dataSet[0]) == 1:
return majorityCnt(classList)
//找出最好的划分特征索引
bestFeat = chooseBestFeatureToSplit(dataSet)
//得到特征
bestFeatLabel = labels[bestFeat]
//把当前的特征作为tree的根
myTree = {bestFeatLabel:{}}
del(labels[bestFeat])//当前的label已经划分过之后就不会再划分，删除
//得到索引所对应的全部属性值
featValues = [example[bestFeat] for example in dataSet]
uniqueVals = set(featValues)
for value in uniqueVals:
subLabels = labels[:]// 因为当列表在作为参数的时候，传递的是引用，会改变原有值，所以进行拷贝
myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value),subLabels)
return myTree