CART，回归树，GBDT，XGBoost，LightGBM一路理解过来

CART，回归树，GBDT，XGBoost，LightGBM

CART：

根据特征的阈值

把叶子节点的类别归为离散的类别



 

XGBoost的四大改进:

①改进残差函数

不用Gini作为残差，用二阶泰勒展开+树的复杂度（正则项）

带来如下好处：

1.可以控制树的复杂度

2.带有关于梯度的更多信息，获得了二阶导数

3.可以用线性分类器

②采用预排序

因为每一次迭代中，都要生成一个决策树，而这个决策树是残差的决策树，所以传统的不能并行

但是陈天奇注意到，每次建立决策树，在分裂节点的时候，比如选中A特征，就要对A进行排序，再计算残差，这个花很多时间

于是陈天奇想到，每一次残差计算好之后，全部维度预先排序，并且此排序是可以并行的，并行排序好后，对每一个维度，计算一次最佳分裂点，求出对应的残差增益

于是只要不断选择最好的残差作为分裂点就可以。

也就是说，虽然森林的建立是串行的没有变，但是每一颗树枝的建立就变成是并行的了，带来的好处：

1.分裂点的计算可并行了，不需要等到一个特征的算完再下一个了

2.每层可以并行：

当分裂点的计算可以并行，对每一层，比如分裂了左儿子和右儿子，那么这两个儿子上分裂哪个特征及其增益也计算好了

同时：

③Shrinkage（缩减）

相当于学习速率（XGBoost中的eta）。XGBoost在进行完一次迭代时，会将叶子节点的权值乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。（GBDT也有学习速率）

④列抽样

XGBoost借鉴了随机森林的做法，支持列抽样，不仅防止过 拟合，还能减少计算。

LightGBM，我只谈3点优化：

①采用基于Histogram的决策树算法

把每个特征做转化成int，并用这个int作为直方图的index，如果某一个特征值的值为ki，就在直方图横轴=ki的地方，增加1的高度

最后根据直方图进行分裂

带来的好处：

1.不用计算分裂增益

2.只消耗很少的内存，解决xgboost为了排序需要把特征都加进内存需要巨大的空间

②带深度限制的Leaf-wise的叶子生长策略。

直接找到分裂增益最大的叶子，按层优先不断分裂

1.提高精度降低误差

2.减少Level-wise非常非常的无用叶子的分裂

3.因为特征的访问顺序相同，就可以提高cache优化，意味着CPU可以为下一次会采用的特征预先做预读取

③用histogram 做差加速

一个容易观察到的现象：一个叶子的直方图可以由它的父亲节点的直方图与它兄弟的直方图做差得到

也就是说下一次分裂的时候不需要计算分裂增益，直接计算一个大儿子，另一个小儿子的直方图就是父亲减去大儿子的差

1.进一步优化