【机器学习】决策树的优缺点
2016-10-11 12:08
393 查看
一:决策树的缺点
1.如果你的边界很光滑动,决策树不会很好用。也就是说当你有不连续的实例时,决策树才表现最好。
2. 如果有很多不相关的变量,决策树表现的不好。决策树的工作是通过找到变量间的相互作用。
3. 数据框架:树的每次分裂都减少了数据集。有意地创造分裂将会潜在地引进偏差(bias)
4. 高方差和不稳定性:运用贪婪策略到决策树方差,找到树的正确的开始点会影响最终的结果。也就是说早期的小的改变,之后都会有大的影响。所以,如果,举个例子,从你的世界里找出两个不同的样例,两个样例的开始点将会很不同。
(可能会有不同的方差)这会导致完全不同的结果。
5.不稳定性。扰乱一点,改动一点值,决策树就会改变。我们想要我们的分类器对噪声是健壮的,所以这不是我们期望的。
6.决策树不会给你正确的答案,它会给你许多可能的答案。改变树的根结点,从另一个变量开始,你可能会得到不同的树,哪个是对的呢?
7. 改变the size of bins,即划分连续属性的段的大小。比如年龄从0-200,你可以划分为1-10,11-20,这时size of bins是10. 如果你划分成1-20,21-40,那么size of bins 是20.
8.改变random seed 随机种子也会改变决策树。对另一个样例重复这个过程,你将会得到另一个树。自己做足够的排列,你将会得到你的树。
9.树的算法,通常使用卡方检验(chi-square) 去决定任何特定分裂的影响。但是即使在决定之前,算法已经尝试了多个变量的组合去找到最好的分裂。
参考资料:https://www.quora.com/What-are-the-disadvantages-of-using-a-decision-tree-for-classification
1.如果你的边界很光滑动,决策树不会很好用。也就是说当你有不连续的实例时,决策树才表现最好。
2. 如果有很多不相关的变量,决策树表现的不好。决策树的工作是通过找到变量间的相互作用。
3. 数据框架:树的每次分裂都减少了数据集。有意地创造分裂将会潜在地引进偏差(bias)
4. 高方差和不稳定性:运用贪婪策略到决策树方差,找到树的正确的开始点会影响最终的结果。也就是说早期的小的改变,之后都会有大的影响。所以,如果,举个例子,从你的世界里找出两个不同的样例,两个样例的开始点将会很不同。
(可能会有不同的方差)这会导致完全不同的结果。
5.不稳定性。扰乱一点,改动一点值,决策树就会改变。我们想要我们的分类器对噪声是健壮的,所以这不是我们期望的。
6.决策树不会给你正确的答案,它会给你许多可能的答案。改变树的根结点,从另一个变量开始,你可能会得到不同的树,哪个是对的呢?
7. 改变the size of bins,即划分连续属性的段的大小。比如年龄从0-200,你可以划分为1-10,11-20,这时size of bins是10. 如果你划分成1-20,21-40,那么size of bins 是20.
8.改变random seed 随机种子也会改变决策树。对另一个样例重复这个过程,你将会得到另一个树。自己做足够的排列,你将会得到你的树。
9.树的算法,通常使用卡方检验(chi-square) 去决定任何特定分裂的影响。但是即使在决定之前,算法已经尝试了多个变量的组合去找到最好的分裂。
参考资料:https://www.quora.com/What-are-the-disadvantages-of-using-a-decision-tree-for-classification
相关文章推荐
- 机器学习--决策树
- 机器学习——基于基尼指数构建决策树
- 机器学习决策树学习算法(C++实现)
- 机器学习中的特征选择和优缺点
- 机器学习实战学习笔记-决策树
- 机器学习(周志华)读书笔记-(四)决策树
- 机器学习3——决策树总结
- 机器学习实战之一---简单讲解决策树
- 七月机器学习之决策树随机森林和adaboost11
- 机器学习-决策树
- 机器学习实战第三章——决策树(源码解析)
- 机器学习(四):分而治之(上)——决策树分类
- 机器学习经典算法详解及Python实现--决策树(Decision Tree)
- Python与机器学习(四)决策树
- python机器学习理论与实战(二)决策树
- 【R笔记】R机器学习(五)——决策树ID3算法
- 机器学习之决策树学习
- 机器学习 python实例完成—决策树
- 机器学习:梯度Boost决策树
- python 机器学习之C4.5决策树分类