【ML笔记】梯度提升决策树(GBDT)和随机森林(RF)的异同
2017-07-27 10:29
411 查看
GBDT和RF简介
GBDT(Gradient Boosting Decision Tree)
DT + Boosting = GBDTGBDT是一种boosting算法。boosting工作机制:先从初始训练集训练处一个基学习器,然后在根据基学习器的表现对训练样本分布进行调整,使得先前的基学习器做错的训练样本在后续获得更多关注(增加错误样本权重),然后基于调整后的样本分布训练下一个基学习器,如此重复,直到基学习器达到指定的T时,最终将T个基学习器进行加权结合,得出预测。
RF(Random Forest)
DT + Bagging = RF随机森林是bagging的一种扩展,在k个数据集选择的时候后,引入了随机属性选择。加入所有属性个数为d,k是随机选择的属性个数。那么k=d的时候,就没有改变。那么k=1的时候后,随机选择一个属性用于计算。推荐的k=log2d.
随机森林的基学习器一般是决策树算法-主要,也有神经网络。
随机森林是对bagging算法的一点改动,但是根能提现样本集之间的差异性。会提高最终预测结果的泛化能力。
GBDT和随机森林的相同点
1、都是由多棵树组成2、最终的结果都是由多棵树一起决定
GBDT和随机森林的不同点
1、组成随机森林的树可以是分类树,也可以是回归树;而GBDT只由回归树组成2、组成随机森林的树可以并行生成;而GBDT只能是串行生成
3、对于最终的输出结果而言,随机森林采用多数投票等;而GBDT则是将所有结果累加起来,或者加权累加起来
4、随机森林对异常值不敏感,GBDT对异常值非常敏感
5、随机森林对训练集一视同仁,GBDT是基于权值的弱分类器的集成
6、随机森林是通过减少模型方差提高性能,GBDT是通过减少模型偏差提高性能
参考文献
周志华《机器学习》http://blog.csdn.net/wangqi880/article/details/70208101
http://www.cnblogs.com/LeftNotEasy/archive/2011/03/07/random-forest-and-gbdt.html
相关文章推荐
- GBDT 梯度提升决策树笔记
- 机器学习总结(四)——随机森林与GBDT(梯度提升决策树)
- GBDT(梯度提升决策树)剖析
- GBDT:梯度提升决策树
- GBDT--梯度提升决策树
- Spark2.0机器学习系列之5:GBDT(梯度提升决策树)、GBDT与随机森林差异、参数调试及Scikit代码分析
- GBDT 梯度提升决策树
- GBDT:梯度提升决策树
- 机器学习方法篇(9)------梯度提升决策树GBDT
- 从决策树到GBDT梯度提升决策树和XGBoost
- GBDT:梯度提升决策树
- GBDT:梯度提升决策树
- GBDT-沿着梯度提升的决策树
- 笔记︱决策树族——梯度提升树(GBDT)
- 机器学习之梯度提升决策树GBDT
- GBDT(梯度提升决策树)
- 笔记︱决策树族——梯度提升树(GBDT)
- 简单易学的机器学习算法——梯度提升决策树GBDT
- GBDT:梯度提升决策树
- Gradient Boosting Decision Tree(GBDT)-梯度提升决策树