您的位置:首页 > 其它

决策树之CART剪枝(小白入门篇)

weixin_44829709 2020-03-15 18:23 127 查看 https://blog.csdn.net/weixin_4

CART概念

名称】CART,全称为Classification And Regression Tree,分类与决策树。【组成】节点(根节点、内部节点、叶子结点)和有向边。【决策过程】依据信息增益进行决策的,增益越大说明这个特征对最后的分类影响越大(从上层到下层信息增益是逐渐下降的)。【决策依据】在分类中我们以最大的信息增益为决策依据;在回归中,我们以损失函数作为我们的优化目标,使其达到最小就是我们的最终目的。

CART剪枝缘由

当数据分类特征多,训练过于满足训练集数据的分类需求带来的过拟合现象,这样的决策树模型①对测试集预测结果并不理想、②决策树的深度很大,因此需要对决策树进行“剪枝”处理。

CART与Xgboost的渊源

Xgboost集成多个CART回归树,是目前竞赛等流行使用的一种方法,也可以使用流行的python、R语言实现对xgboost的简单使用。

>> 敲黑板
参考学习网址
【十大经典数据挖掘算法】CART
机器学习–详解CART树剪枝原理和过程
【机器学习】决策树(下)——CART算法及剪枝处理
通俗、有逻辑的写一篇说下Xgboost的原理,供讨论参考
xgboost原理
  • 点赞
  • 收藏
  • 分享
  • 文章举报
贪吃的燕子 发布了7 篇原创文章 · 获赞 0 · 访问量 63 私信 关注
标签: