第八章集成学习——周志华

（1） Adaboost算法怎么工作？

Adaboost算法思想：一个弱学习器提升为强学习器的算法。先从初始的训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得

先前基学习器做错的训练样本能在后续中得到更多的关注，然后基于调整后的样本分布来训练下一个基学习器。

流程叙述：训练数据中的每个样本，并赋予其一个权重，这些权重构成了向量D。开始时，这些权重都初始化为相等值。首先在训练数据上训练出一个弱分类器并计算该分类器的错误率，然后在同一数据集上再次训练弱分类器。在分类器的第二次训练中，将会重新调整每个样本的权重，其中第一次分对的样本的权重将会降低，而第一次分错的样本的权重会提高。

（2） Adaboost权值怎么影响模型训练？

    通过改变带权的损失函数

（3） 随机森林怎么训练，怎么集成？

随机选取k个属性，再进行决策树训练，集成是多数投票。

（4） Bagging有什么优点？

可以无修改适应其他任务。

（5）从哪里提高泛化性能？

abaBoost是基于错误来提升分类器的性能的。

Bagging是基于“自助采样法”来提升分类器的性能的。p179页说到，由于每个基学习器只使用了初始的训练集中大概63.2%的样本，剩下的36.8%的样本可作为验证集来对泛化性能进行“外包估计”,可以使用包外样本来辅助剪枝。从而可以提高了泛化性能吧。