Spark2 Model selection and tuning 模型选择与调优
2016-12-22 10:39
489 查看
Model selection模型选择
ML中的一个重要任务是模型选择,或使用数据为给定任务找到最佳的模型或参数。 这也称为调优。 可以对诸如Logistic回归的单独Estimators进行调整,或者对包括多个算法,特征和其他步骤的整个Pipeline进行调整。 用户可以一次调整整个Pipeline,而不必单独调整Pipeline中的每个元素。
MLlib支持使用CrossValidator和TrainValidationSplit等工具进行模型选择。这些工具需要以下items:
Estimator:要调整的algorithm or Pipeline
Set of ParamMaps:可以选择的参数,有时称为“parameter grid”
Evaluator:衡量拟合模型对测试数据支持的有多好
在高级别,这些模型选择工具的工作如下:
将输入数据分成单独的训练和测试数据集。
对于每个(训练,测试)对,遍历ParamMap的集合:
对于每个ParamMap,它们使用这些参数拟合Estimator,获得拟合的Model,并使用Evaluator评估Model的性能。
选择由性能最佳的参数集合生成的模型。
Evaluator可以是用于回归问题的RegressionEvaluator,用于二进制数据的BinaryClassificationEvaluator,用于多类问题的MulticlassClassificationEvaluator。每个evaluator中的“setMetricName方法”是一个用于选择最佳ParamMap的默认度量。
为了帮助构造parameter grid,用户可以使用ParamGridBuilder实用程序。
Cross-Validation交叉验证
CrossValidator开始于将数据集分割为一组folds,用作单独的训练和测试数据集。 例如,k = 3 folds,CrossValidator将生成3个“数据集对(训练,测试)”,其中每个数据集使用2/3的数据进行训练和1/3的测试。 为了评估特定的ParamMap,通过在3个不同“数据集对”上拟合Estimator,CrossValidator为3个Models计算平均评估度量。
在识别最好的ParamMap后,CrossValidator最终使用最好的ParamMap和整个数据集重新匹配Estimator。
注意,在parameters grid上的CrossValidator是非常耗费资源。 然而,它也是用于选择参数的好的公认的方法,比启发式手动调优在统计上更好。
与CrossValidator不同,TrainValidationSplit创建一个“数据集对(训练,测试)”。 它使用trainRatio参数将数据集拆分为这两个部分。 例如,trainRatio = 0.75
,TrainValidationSplit将生成训练和测试数据集对,其中75%的数据用于训练,25%用于验证。
像CrossValidator,TrainValidationSplit最终使用最好的ParamMap和整个dataset拟合Estimator。
ML中的一个重要任务是模型选择,或使用数据为给定任务找到最佳的模型或参数。 这也称为调优。 可以对诸如Logistic回归的单独Estimators进行调整,或者对包括多个算法,特征和其他步骤的整个Pipeline进行调整。 用户可以一次调整整个Pipeline,而不必单独调整Pipeline中的每个元素。
MLlib支持使用CrossValidator和TrainValidationSplit等工具进行模型选择。这些工具需要以下items:
Estimator:要调整的algorithm or Pipeline
Set of ParamMaps:可以选择的参数,有时称为“parameter grid”
Evaluator:衡量拟合模型对测试数据支持的有多好
在高级别,这些模型选择工具的工作如下:
将输入数据分成单独的训练和测试数据集。
对于每个(训练,测试)对,遍历ParamMap的集合:
对于每个ParamMap,它们使用这些参数拟合Estimator,获得拟合的Model,并使用Evaluator评估Model的性能。
选择由性能最佳的参数集合生成的模型。
Evaluator可以是用于回归问题的RegressionEvaluator,用于二进制数据的BinaryClassificationEvaluator,用于多类问题的MulticlassClassificationEvaluator。每个evaluator中的“setMetricName方法”是一个用于选择最佳ParamMap的默认度量。
为了帮助构造parameter grid,用户可以使用ParamGridBuilder实用程序。
Cross-Validation交叉验证
CrossValidator开始于将数据集分割为一组folds,用作单独的训练和测试数据集。 例如,k = 3 folds,CrossValidator将生成3个“数据集对(训练,测试)”,其中每个数据集使用2/3的数据进行训练和1/3的测试。 为了评估特定的ParamMap,通过在3个不同“数据集对”上拟合Estimator,CrossValidator为3个Models计算平均评估度量。
在识别最好的ParamMap后,CrossValidator最终使用最好的ParamMap和整个数据集重新匹配Estimator。
注意,在parameters grid上的CrossValidator是非常耗费资源。 然而,它也是用于选择参数的好的公认的方法,比启发式手动调优在统计上更好。
Train-Validation Split
除了CrossValidator,Spark还提供TrainValidationSplit用于超参数调优。 TrainValidationSplit只评估“每个参数的组合”一次,而不是在CrossValidator的情况下k次。 因此,TrainValidationSplit耗费的资源比CrossValidator少一些,但是当训练数据集不够大时,不会产生可靠的结果。与CrossValidator不同,TrainValidationSplit创建一个“数据集对(训练,测试)”。 它使用trainRatio参数将数据集拆分为这两个部分。 例如,trainRatio = 0.75
,TrainValidationSplit将生成训练和测试数据集对,其中75%的数据用于训练,25%用于验证。
像CrossValidator,TrainValidationSplit最终使用最好的ParamMap和整个dataset拟合Estimator。
相关文章推荐
- Model selection and tuning 模型选择与调优
- 模型评估与选择(Model Evaluation and Selection)
- 规则化和模型选择(Regularization and model selection)
- 正规化和模型选择(Regularization and model selection)
- 规则化和模型选择(Regularization and model selection)
- 规则化和模型选择(Regularization and model selection)
- 规则化和模型选择(Regularization and model selection)
- 规则化和模型选择(Regularization and model selection)
- 规则化和模型选择Regularization and model selection
- 规则化和模型选择(Regularization and model selection)
- 规则化和模型选择(Regularization and model selection)
- 规则化和模型选择(Regularization and model selection)
- 【机器学习-斯坦福】学习笔记9 规则化和模型选择(Regularization and model selection)
- 正则化和模型选择(Regularization and model selection)
- 规则化和模型选择(Regularization and model selection)
- Scikit-learn:模型选择Model selection之pipline和交叉验证
- Spark2.0机器学习系列之2:基于Pipeline、交叉验证、ParamMap的模型选择和超参数调优
- Scikit-learn:模型选择Model selection之pipline和交叉验证
- [Spark2.0]ML 调优:模型选择和超参数调优
- 从examples中学spark(二):ModelSelectionViaCrossValidationExample.scala以及模型保存