利用AdaBoost元算法提高分类性能

一、
优点：泛化错误率降低，易编码，可以应用在大部分分类器上，无参数调整
缺点：对离群点敏感
使用数据类型：数值型和标称型数据

二、
1、元算法：对其他算法进行组合
不同算法集成、同一算法在不同设置下的集成、数据集不同部分分配给不同分类器之后的集成
2、算法比较：
bagging（自举汇聚法）：从原始数据集随机选择S次后得到S个新数据集，不同分类器是通过串行训练获得的，每个新分类器都根据已训练出来的分类器的性能来进行训练；分类器权重相等
boosting：通过关注被已有分类器错分的数据来获得新的分类器；分类器权重不相等，每个权重代表对应分类器在上一轮迭代中的成功度

三、
Adaboost算法运行过程：
1.赋予每个样本一个权重，这些权重构成向量D，初始时权重相等
2.在训练数据上训练出一个弱分类器并计算分类器错误率
3.计算该弱分类器权重α，重新调整样本权重D，分对的样本权重降低，分错的样本权重提高，重新训练分类器
4.重复训练和调整权重，直到错误率为0或弱分类器数目达到用户指定值
5.最终分类结果=各弱分类器的结果加权求和
其中，
错误率=未正确分类的样本数目/所有样本数目
分类器权重α=1/2*ln((1-错误率)/错误率)
分对的样本权重D（t+1）=D（t）exp(-α)/sum(D)
分错的样本权重D（t+1）=D（t）exp(α)/sum(D)

四、
1、非均衡分类问题：在分类器训练时正例数目和反例数目相差很大
可以基于代价函数来控制分类器决策，可以通过过抽样和欠抽样调节数据集中正例和反例的数目
2、除了错误率外还有其他一些分类性能度量指标：正确率、召回率、ROC曲线



正确率=TP/(TP+FP)，预测为正例的样本中实际为正例的比例
召回率=TP/(TP+FN)，实际为正例的结果中预测为正例的比例
假阳率=FP/(FP+TN)，实际为反例的结果中预测为正例的比例
真阳率=TP/(TP+FN)，实际为正例的结果中预测为正例的比例

ROC曲线：用于度量分类中的非均衡性，ROC(receiver operating characteristic)

给出的是当阈值变化时假阳率和真阳率的变化情况
对不同ROC曲线进行比较时，用AUC(areaunder
the curve)评估，完美分类器的AUC为1.0，随机猜测的AUC为0.5