机器学习实战之adaboost

1.概念定义

(1)元算法(meta-algorithm)/集成方法(ensemble method): 是对其他算法进行组合的一种方式.有多种集成方式:

不同算法的集成;
同一算法在不同设置下的集成
数据集不同部分分配给不同分类器之后的集成

(2)单层决策树(decision stump ): 是一个只有一个节点的决策树;仅仅基于单个特征来做决策.只有一个分裂过程.例如大于5的为类型1,小于5的类型为-1;

2. 几种集成算法

(1)bagging,自举汇聚法(bootstrap aggregating):

是从原始数据集中选择s次得到s个新数据集的一种方法,新数据集和原始数据集大小一样,每个数据集都是通过在原始数据集中随机选择一个样本组合而成的,这属于有放回的采样,这一特点使得原始数据集中可以有重复的值,且原始数据集中的有些值在新数据集中不出现.
得到s个数据集之后,使用某个学习算法(例如决策树等等)分别作用于每个数据集得到s个分类器.
当进行分类时,应用这s个分类器分别对新数据进行分类,选择分类器分类结果中最多的类别作为最后的分类结果.

(2)boosting

不同的分类器是通过串行训练得到的,而bagging是并行的,不同分类器是相互独立的;每个新分类器都根据已训练出的分类器的性能来进行训练.boosting通过关注被已有分类器错分类的那些数据来获得新的分类器.
boosting的分类结果是基于所有分类器的加权求和结果的,bagging中分类器权重都是一样的,boosting中的分类器权重不相等,每个权重代表其对应分类器在上一轮迭代中的正确分类率.

3.adaboost(adaptive boosting)

(1)一般流程

准备数据:依赖于选择的弱分类器,本次将选择单层决策树,这种分类器可以处理任何数据类型;作为弱分类器,简单分类器的效果更好.
训练算法:adaboost的大部分时间使用在训练上,分类器将多次在同一数据集上训练若分类器;
测试算法:计算错分类的概率
使用场所:adaboost预测属于两个类别中的哪一个.若要将其使用在多分类场合,要做一定的修改.

(2)运行过程

训练数据中的每个样本,并赋予其一个权重,权重向量为W,权重初始化为相等值;即1/所有的样本数
首先在训练数据上训练出一个弱分类器并计算其分类的错误率,错误率=未正确分类的样本数/所有样本数
继续在同一数据集上训练另一个弱分类器,在第二次训练之前,将会调整每个训练样本的权重值,其中第一次分对的样本的权重会降低,第一次分错的样本权重会提高.
为了将所有的弱分类器组合得到最终的分类器,adaboost为每个弱分类器分配了一个权重值alpha,这些alpha值基于每个弱分类器的错误率计算的, alpha=1/2*ln((1-错误率)/错误率)
根据alpha值对每个样本的权重进行修改:修改规则是正确分类的权重降低,错分类的权重增加



更新样本权重之后,开始第二次训练.不断重复训练的调整权重的过程,直到训练错误率为0或者弱分类器的数目达到用户的指定值为止.

(3)代码实现

单层决策树生成

下面的函数基于数据集的第dimen维特征分类,返回当前样本的分类结果;临界值是threshval,有2种可能,第一种大于临界值的为1,第二种大于临界值的为-1.threshineq决定是哪种可能.

<span style="font-size:14px;">def stumpClassify(dataMatrix,dimen,threshVal,threshIneq):
returnArray = ones((shape(dataMatrix)[0],1))
if threshIneq == 'lessthan':
returnArray[dataMatrix[:,dimen] <= threshVal] = -1.0
else:
returnArray[dataMatrix[:,dimen] > threshVal] = -1.0
return returnArray</span>

下面的函数产生当前权重向量下最适合数据集的单层决策树;输入训练样本数据集以及其对应的类别标签,D是样本权重向量.

<span style="font-size:14px;">def buildStump(dataArr,classLabels,D):
dataMatrix = mat(dataArr); labelMatrix = mat(classLabels).T
m,n = shape(dataMatrix)
numSteps = 10.0;bestStump ={}
bestClasEst = mat(zeros((m,1)))
minError = inf
for i in range(n):
rangeMin = dataMatrix[:,i].min()
rangeMax = dataMatrix[:,i].max()
stepSize = (rangeMax - rangeMin)/numSteps #对该维的每个所有可能取值进行遍历,以找到最适合的临界值
for j in range(-1,int(numSteps)+1):
for inequal in ['lessthan','greaterthan']:
threshVal = rangeMin + float(j) * stepSize
predictVals = stumpClassify(dataMatrix,i,threshVal,inequal)
errArr = mat(ones((m,1)))
errArr[predictVals == labelMatrix] = 0
weightedError = D.T * errArr #根据权重向量计算错误分类误差
if weightedError < minError:
minError = weightedError
bestClasEst = predictVals.copy()
bestStump['dim'] = i
bestStump['thresh'] = threshVal
bestStump['ineq'] = inequal
return bestStump,minError,bestClasEst
</span>

adaboost训练算法

实现伪代码如下:

对每次迭代:

利用buildStump()函数找到基于当前样本权重向量D下的最佳决策单层决策树

将最佳单层决策树加入到单层决策树数组

计算alpha

计算新的样本权重向量D

更新集成的类别估计值(已有的弱分类器分类结果的叠加)

如果错误率等于0,则退出循环

实现代码:

<span style="font-size:14px;">def adaBoostTrain(dataArr,classLabels,numIter = 40):
weakClassifier = []  #存储每个弱分类器的信息
m,n = shape(dataArr)
#initialize the weight of every sample
W = mat(ones((m,1))/m)
aggClassEst = mat(zeros((m,1))) #累计类别的估计值,将已有的弱分类器的反而类结果乘以它们对应的权重加起来,构成最后的分类器
for i in range(numIter):
bestStump,error,classEst = buildStump(dataArr,classLabels,W)
#print "W:" , W.T
alpha = float(0.5*log((1.0-error)/max(error,1e-16)))  #分母不只是error,是为了确保在没有错误时不睡发生除0溢出.故取其和一个很小值的最大值,防止errro为0的情况发生
bestStump['alpha'] = alpha
weakClassifier.append(bestStump)
#print "classEst: ",classEst.T
expon = multiply(-1*alpha*mat(classLabels).T,classEst)
W = multiply(W,exp(expon))
W = W/W.sum()
aggClassEst += alpha*classEst
#print "aggClassEst: ", aggClassEst.T
aggErrors = multiply(sign(aggClassEst) != mat(classLabels).T,ones((m,1)))  #sign是为了得到二值分类结果
errorRate = aggErrors.sum()/m
print "the error is : ",errorRate,"\n"
if errorRate == 0.0:
break
return weakClassifier</span>

adaboost分类函数

所有弱分类器的加权求和就是最后的结果.输入为待分类的特征向量以及训练得到的弱分类器的数组集合.

<span style="font-size:14px;">def adaClassify(dataToClass,classifier):
dataMatrix = mat(dataToClass)
m = shape(dataMatrix)[0]
aggClassEst = mat(zeros((m,1)))
for i in range(len(classifier)):
classEst = stumpClassify(dataMatrix,classifier[i]['dim'],classifier[i]['thresh'],classifier[i]['ineq'])
aggClassEst += classifier[i]['alpha'] * classEst  #弱分类器的加权结果求和
print aggClassEst
return sign(aggClassEst)  #得到二值分类结果</span>