关于随机森林和GBDT的一些思考

问1：随机森林产生过程？

答1：1)从原始数据集中采用有放回抽样，构造子数据集。自数据集数据量与原数据集相同，数据集间及数据集内元素可重复。

    2)通过子数据集建立不同的决策树。随机森林的输出结果由不同决策树投票获得。

    3)决策树建立过程中，待选特征随机获得。

    4)使用bagging思想

问2：随机森林的优点有哪些？

答2：1)能够处理高纬度的特征，并且不用做特征选择

    2)训练完成后，能够给出哪些特征比较重要

    3)训练速度快，可以并行

问3：随机森林的缺点有哪些？

答3：1)噪音太大时容易产生过拟合

问4：GBDT产生过程？

答4：1)先使用全部样本建立第一棵树

    2)计算1~(i-1)残差，第i棵树去拟合该残差

    3)1~(i-1)残差 = 【样本真实值】- 【1~(i-1)棵树预测值之和】

    4)使用boosting思想，每一次训练都是为了改进上一次结果

问5：GBDT如何避免过拟合？

答5：1)使用缩减思想。y(1 ~ i) = y(1 ~ i-1) + step * yi 其中，step~（0.01~0.001）

    2)每次走一小步逼近结果，比每次迈一大步更容易避免过拟合

问6：GBDT的优点有哪些？

答6：1)可以解决非线性回归

问7：GBDT的缺点有哪些？

答7：1)无法并行化

    2)对异常点敏感