集成学习boosting和bagging

集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。这对“弱学习器”尤为明显，因此集成学习的很多理论研究都是针对弱学习器进行的，而基学习器有时也被直接称为弱学习器。弱学习器指泛化性能略优于随机猜测的学习器，例如在二分类问题上，精度略高于50%的分类器。个体学习器应该“好而不同”，即个体学习器性能不能太坏，且个体学习器之间要存在差异性。
根据个体学习器的生成方式，目前的集成学习方法大致可以分为两大类。即个体学习器间存在强依赖关系，必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系，可同时生成的并行化方法。前者的代表是"boosting" ，后者的代表是bagging和随机森林。
Boosting是一族可将弱学习器提升为强学习器的算法。这族算法的工作机制类似：先从初始训练样本中，训练出一个基学习器。然后根据这个基学习器的表现，使得这个基分类器做错的样本在以后会受到更多的关注，重新调整样本的分布，然后基于调整之后的样本训练下一个基学习器，重复进行，直至基学习器的数量达到预设的值T。最终将这T个学习器进行加权结合
Boosting算法的代表: AdaBoost，标准的AdaBoost只适用于二分类任务。


下面介绍Bagging和随机森林

Bagging：Bagging是并行式集成学习方法最著名的代表，其通过自助采样法采取样本。给定包含m个样本的数据集，我们先从中随机抽取一个样本放入采样集，然后再将这个样本放入数据集，再随机重新抽取一个，使得上次抽取的样本这次仍然有机会抽取一次，直至采样集中的数据达到一定的数量，一次采样完成，然后根据这次采样集训练一个基学习次。重复上述过程k次，即可得到k个基学习器，然后再将这些基学习器进行结合，这就是Bagging的基本思想。其算法如下：



随机森林：随机森林是Bagging的一个扩展变体，RF在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。随机森林中基学习器的多样性不仅来自样本的扰动，还来自属性扰动，这就使得最终集成的泛化性能可通过个体学习器之间差异度的增加而进一步提升。值得一提的是，随机森林的训练效率常优于Bagging，因为在个体决策树的构建过程中，Bagging使用的是“确定型”的决策树，在选择属性划分时考察了所有的属性，而随机森林只对部分属性进行了考察。