笔记︱决策树族——梯度提升树(GBDT)
2017-02-19 16:48
375 查看
笔记︱决策树族——梯度提升树(GBDT)
本笔记来源于CDA DSC,L2-R语言课程所学进行的总结。一、介绍:梯度提升树(Gradient Boost Decision Tree)
Boosting算法和树模型的结合。按次序建立多棵树,每棵树都是为了减少上一次的残差(residual),每个新的模型的建立都是为了使之前模型的残差往梯度方向减少。最后将当前得到的决策树与之前的那些决策树合并起来进行预测。相比随机森林有更多的参数需要调整。
————————————————————————————————————————————————————————————
二、随机森林与梯度提升树(GBDT)区别
随机森林:决策树+bagging=随机森林梯度提升树:决策树Boosting=GBDT
两者区别在于bagging boosting之间的区别,可见:
bagging | boosting | |
取样方式 | bagging采用均匀取样 | boosting根据错误率来采样 |
精度、准确性 | 相比之,较低 | 高 |
训练集选择 | 随机的,各轮训练集之前互相独立 | 各轮训练集的选择与前面各轮的学习结果相关 |
预测函数权重 | 各个预测函数没有权重 | boost有权重 |
函数生成顺序 | 并行生成 | 顺序生成 |
应用 | 象神经网络这样极为消耗时间的算法,bagging可通过并行节省大量的时间开销 baging和boosting都可以有效地提高分类的准确性 | baging和boosting都可以有效地提高分类的准确性 一些模型中会造成模型的退化(过拟合) boosting思想的一种改进型adaboost方法在邮件过滤,文本分类中有很好的性能 |
随机森林 | 梯度提升树 |
三、R中与决策树有关的Package
单棵决策树:rpart/tree/C50随机森林:randomforest/ranger
梯度提升树:gbm/xgboost
树的可视化:rpart.plot
相关文章推荐
- 笔记︱决策树族——梯度提升树(GBDT)
- 笔记︱决策树族——梯度提升树(GBDT)
- 【ML笔记】梯度提升决策树(GBDT)和随机森林(RF)的异同
- GBDT 梯度提升决策树笔记
- scikit-learn 梯度提升树(GBDT)调参小结
- 梯度提升树(GBDT)原理小结
- Spark2.0机器学习系列之6:GBDT(梯度提升决策树)、GBDT与随机森林差异、参数调试及Scikit代码分析
- GBDT梯度提升树算法原理小结(三)
- 【机器学习】GBDT梯度下降提升算法及参数寻优实例
- 梯度提升树(GBDT)原理小结
- 梯度提升树(GBDT)原理小结
- sklearn.linear_model——梯度提升树(GBDT)调参小结
- 统计学习方法--提升树模型(Boosting Tree)与梯度提升树(GBDT)
- GBDT 梯度提升决策树的简单推导
- GBDT:梯度提升决策树
- GBDT-梯度提升决策树
- 梯度提升树(GBDT)原理小结
- 梯度提升树(GBDT)原理小结
- GBDT--梯度提升决策树
- scikit-learn 梯度提升树(GBDT)调参小结