分类模型的评估方法-F分数(F-Score)
2017-06-30 20:59
1596 查看
前面介绍了机器学习中分类模型的精确率(Precision)和召回率(Recall)评估指标。对于Precision和Recall,虽然从计算公式来看,并没有什么必然的相关性关系,但是,在大规模数据集合中,这2个指标往往是相互制约的。理想情况下做到两个指标都高当然最好,但一般情况下,Precision高,Recall就低,Recall高,Precision就低。所以在实际中常常需要根据具体情况做出取舍,例如一般的搜索情况,在保证召回率的条件下,尽量提升精确率。而像癌症检测、地震检测、金融欺诈等,则在保证精确率的条件下,尽量提升召回率。
所以,很多时候我们需要综合权衡这2个指标,这就引出了一个新的指标F-score。这是综合考虑Precision和Recall的调和值。
F−Score=(1+β2)⋅Precision⋅Recallβ2⋅Precision+Recall
当β=1时,称为F1-score,这时,精确率和召回率都很重要,权重相同。当有些情况下,我们认为精确率更重要些,那就调整β的值小于1,如果我们认为召回率更重要些,那就调整β的值大于1。
举个例子:癌症检查数据样本有10000个,其中10个数据祥本是有癌症,其它是无癌症。假设分类模型在无癌症数据9990中预测正确了9980个,在10个癌症数据中预测正确了9个,此时真阳=9,真阴=9980,假阳=10,假阴=1。
那么:
Accuracy = (9+9980) /10000=99.89%
Precision=9/19+10)= 47.36%
F1-score=2×(47.36% × 90%)/(1×47.36%+90%)=62.07%
F2-score=5× (47.36% × 90%)/(4×47.36%+90%)=76. 27%
所以,很多时候我们需要综合权衡这2个指标,这就引出了一个新的指标F-score。这是综合考虑Precision和Recall的调和值。
F−Score=(1+β2)⋅Precision⋅Recallβ2⋅Precision+Recall
当β=1时,称为F1-score,这时,精确率和召回率都很重要,权重相同。当有些情况下,我们认为精确率更重要些,那就调整β的值小于1,如果我们认为召回率更重要些,那就调整β的值大于1。
举个例子:癌症检查数据样本有10000个,其中10个数据祥本是有癌症,其它是无癌症。假设分类模型在无癌症数据9990中预测正确了9980个,在10个癌症数据中预测正确了9个,此时真阳=9,真阴=9980,假阳=10,假阴=1。
那么:
Accuracy = (9+9980) /10000=99.89%
Precision=9/19+10)= 47.36%
F1-score=2×(47.36% × 90%)/(1×47.36%+90%)=62.07%
F2-score=5× (47.36% × 90%)/(4×47.36%+90%)=76. 27%
相关文章推荐
- 分类模型的评估方法-精确率(Precision)
- Spark Mllib里决策树二元分类使用.areaUnderROC方法计算出以AUC来评估模型的准确率和决策树多元分类使用.precision方法以precision来评估模型的准确率(图文详解)
- 分类模型的评估方法-正确率(Accuracy)
- 分类模型的评估方法-召回率(Recall)
- 二分类模型评估指标的计算方法与代码实现
- 分类模型的评估方法
- 机器学习(七) - - 模型评估和选择②评估方法
- 分类模型的性能评估——以SAS Logistic回归为例(3): Lift和Gain
- 分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵
- 数据挖掘导论学习笔记之分类基本概念、决策树与模型评估
- 二元分类效果评估方法
- 分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵
- 分类模型的性能评估——以SAS Logistic回归为例(2): ROC和AUC
- 分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵
- 分类模型的性能评估——以SAS Logistic回归为例
- 机器学习模型性能评估方法笔记
- [EverString收录]机器学习中分类评估方法简介 - 1
- 一种新型的基于隐马尔科夫模型—支持向量机模型的文本分类方法
- 分类模型的性能评估——以SAS Logistic回归为例(2): ROC和AUC
- stat_模型评估方法