[置顶] XGBoost参数解释

前言

本文中针对XGBoost的参数说明进行部分翻译得来，原文链接。因而本文中只对一些关键参数进行了翻译，且由于本人能力有限，文中难免存在错误的地方，还望指正。以下是大致翻译内容。

在运行XGboost之前, 我们必须设置三种类型的参数: 通用参数（general parameters），Booster 参数（booster parameters）和学习目标参数（task parameters）

• 通用参数决定了那种Booster被我们选择用于Boosting, 通常是线性和树型模型，也就是用于宏观函数控制

• Booster参数取决于选择的Booster类型，用于控制每一步的booster

• 学习任务参数决定学习策略。例如，回归任务可以使用不同的参数和排序任务

• 命令行参数取决于xgboost的CLI版本

General Parameters

booster [缺省值=gbtree]

决定那个使用那个booster，可以是gbtree，gblinear或者dart。 gbtree和dart使用基于树的模型，而gblinear 使用线性函数.

silent [缺省值=0]

设置为0打印运行信息；设置为1静默模式，不打印

nthread [缺省值=设置为最大可能的线程数]

并行运行xgboost的线程数，输入的参数应该<=系统的CPU核心数，若是没有设置算法会检测将其设置为CPU的全部核心数

下面的两个参数不需要设置，使用默认的就好了

num_pbuffer [xgboost自动设置，不需要用户设置]

预测结果缓存大小，通常设置为训练实例的个数。该缓存用于保存最后boosting操作的预测结果。

num_feature [xgboost自动设置，不需要用户设置]

在boosting中使用特征的维度，设置为特征的最大维度

Parameters for Tree Booster

eta [缺省值=0.3，别名：learning_rate]

更新中减少的步长来防止过拟合。在每次boosting之后，可以直接获得新的特征权值，这样可以使得boosting更加鲁棒。

范围： [0,1]

gamma [缺省值=0，别名: min_split_loss]（分裂最小loss）

在节点分裂时，只有分裂后损失函数的值下降了，才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。 这个参数的值越大，算法越保守。这个参数的值和损失函数息息相关，所以是需要调整的。

范围: [0,∞]

max_depth [缺省值=6]

这个值为树的最大深度。 这个值也是用来避免过拟合的。max_depth越大，模型会学到更具体更局部的样本。设置为0代表没有限制

范围: [0,∞]

min_child_weight [缺省值=1]

决定最小叶子节点样本权重和。XGBoost的这个参数是最小样本权重的和，而GBM参数是最小样本总数。 这个参数用于避免过拟合。当它的值较大时，可以避免模型学习到局部的特殊样本。 但是如果这个值过高，会导致欠拟合。这个参数需要使用CV来调整。.

范围: [0,∞]

subsample [缺省值=1]

这个参数控制对于每棵树，随机采样的比例。 减小这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过小，它可能会导致欠拟合。 典型值：0.5-1，0.5代表平均采样，防止过拟合.

范围: (0,1]

colsample_bytree [缺省值=1]

用来控制每棵随机采样的列数的占比(每一列是一个特征)。 典型值：0.5-1

范围: (0,1]

colsample_bylevel [缺省值=1]

用来控制树的每一级的每一次分裂，对列数的采样的占比。 我个人一般不太用这个参数，因为subsample参数和colsample_bytree参数可以起到相同的作用。但是如果感兴趣，可以挖掘这个参数更多的用处。

范围: (0,1]

lambda [缺省值=1，别名: reg_lambda]

权重的L2正则化项。(和Ridge regression类似)。 这个参数是用来控制XGBoost的正则化部分的。虽然大部分数据科学家很少用到这个参数，但是这个参数在减少过拟合上还是可以挖掘出更多用处的。.

alpha [缺省值=0，别名: reg_alpha]

权重的L1正则化项。(和Lasso regression类似)。 可以应用在很高维度的情况下，使得算法的速度更快。

scale_pos_weight[缺省值=1]

在各类别样本十分不平衡时，把这个参数设定为一个正值，可以使算法更快收敛。通常可以将其设置为负样本的数目与正样本数目的比值。

Parameters for Linear Booster

lambda [缺省值=0，别称: reg_lambda]

L2正则化惩罚系数，增加该值会使得模型更加保守。

alpha [缺省值=0，别称: reg_alpha]

L2正则化惩罚系数，增加该值会使得模型更加保守。

lambda_bias [缺省值=0，别称: reg_lambda_bias]

偏置上的L2正则化(没有在L1上加偏置，因为并不重要)

Learning Task Parameters

objective [缺省值=reg:linear]

“reg:linear” – 线性回归

“reg:logistic” – 逻辑回归

“binary:logistic” – 二分类逻辑回归，输出为概率

“binary:logitraw” – 二分类逻辑回归，输出的结果为wTx

“count:poisson” – 计数问题的poisson回归，输出结果为poisson分布。在poisson回归中，max_delta_step的缺省值为0.7 (used to safeguard optimization)

“multi:softmax” – 设置 XGBoost 使用softmax目标函数做多分类，需要设置参数num_class（类别个数）

“multi:softprob” – 如同softmax，但是输出结果为ndata*nclass的向量，其中的值是每个数据分为每个类的概率。

eval_metric [缺省值=通过目标函数选择]

可供选择的如下所示：

“rmse”: 均方根误差

“mae”: 平均绝对值误差

“logloss”: negative log-likelihood

“error”: 二分类错误率。其值通过错误分类数目与全部分类数目比值得到。对于预测，预测值大于0.5被认为是正嘞，其它归为负类。

“error@t”: 不同的划分阈值可以通过 ‘t’进行设置

“merror”: 多分类错误率，计算公式为(wrong cases)/(all cases)

“mlogloss”: 多分类log损失

“auc”: 曲线下的面积

“ndcg”:Normalized Discounted Cumulative Gain

“map”: 平均正确率

seed [缺省值=0]

随机数的种子 设置它可以复现随机数据的结果，也可以用于调整参数

Command Line Parameters

一下的参数只用于命令行版本的XGBoost版本中。

1. use_buffer [缺省值=1]

是否为文本输入创建二进制缓存。这样做将加快加载速度。

2. num_round

boosting的迭代次数。

3. data

训练数据的路径

4. test:data

用作预测的测试数据路径

5. save_period [缺省值=0]

保存参数模型的周期

6. task [缺省值=train] 可选项: train, pred, eval, dump

train: 使用data训练

pred: 使用test:data做预测

eval: 进行评估统计，由eval[name]=filename指定

dump: 将学习的模型导出到文本格式

7. model_in [缺省值=NULL]

输入模型的路径，被用于test, eval, dump。在training中，XGBoost将会从输入模型的基础上继续进行训练。

8. model_out [缺省值=NULL]

训练完成之后模型的保存路径。如果没有指定将会使用诸如0003.model，这里的 0003是boosting的迭代数

9. model_dir [缺省值=models]

训练期间的训练模型输出文件夹

10. fmap

特征图谱，被用于dump模式

11. name_dump [缺省值=dump.txt]

模型dump文件的名称

12. name_pred [缺省值=pred.txt]

预测文件的名称，被用于pred模式

13. pred_margin [缺省值=0]

predict margin 而不是转换概率