学习路线:入门机器学习基本概念之机器学习中常用评估指标汇总
2018-03-09 10:39
691 查看
评估指标 Evaluation metrics 可以说明模型的性能,辨别模型的结果。
我们建立一个模型后,计算指标,从指标获取反馈,再继续改进模型,直到达到理想的准确度。在预测之前检查模型的准确度至关重要,而不应该建立一个模型后,就直接将模型应用到看不见的数据上。
今天先来简单介绍几种回归和分类常用的评估方法。
其中 D 为数据分布,p 为概率密度函数。
精度
二分类混淆矩阵:
查准率:
应用场景-当你想知道“挑出的西瓜中有多少比例是好瓜”
查全率:
应用场景-当你想知道“所有好瓜盅有多少比例被挑出来了”
当一个学习器的 P-R 曲线被另一个学习器的包住,那么后者性能优于前者。
有交叉时,需要在具体的查准率或者查全率下进行比较。
平衡点 (Break Event Point BEP):即上图中三个红点。
综合考虑查准率,查全率的度量
当 查准率=查全率 时的点,谁大谁比较优。
F1 度量:
也是综合考虑查准率,查全率的度量,比 BEP 更常用:
可以表达对查准率,查全率的不同重视度,
β > 1 则查全率有更大影响,β < 1 则查准率有更大影响,β = 1 则为 F1。
One vs. All (OvA) 分类问题这时会在 n 个二分类问题上综合考虑查准率,查全率。宏~ :先在每个混淆矩阵上计算率,再求平均宏查准率
宏查全率
宏 F1
微~ :先将各个混淆矩阵上对应元素求平均,再计算率
微查准率
微查全率
微 F1
ROC :
反映敏感性和特异性连续变量的综合指标,roc曲线上每个点反映着对同一信号刺激的感受性。
纵轴为 TPR 真正例率,预测为正且实际为正的样本占所有正例样本的比例
横轴为 FPR 假正例率。预测为正但实际为负的样本占所有负例样本的比例
对角线对应的是 “随机猜想”
当一个学习器的 ROC 曲线被另一个学习器的包住,那么后者性能优于前者。
有交叉时,需要用 AUC 进行比较。
AUC:
ROC 曲线下的面积
此时,可以设定
代价矩阵 cost matrix:
如果将第 0 类预测为 第 1 类造成的损失更大,则 cost01 > cost10,相反将第 1 类预测为 第 0 类造成的损失更大,则 cost01 < cost10 :
则带有“代价敏感”的错误率为:
其中 0 为正类,1 为反类,D+ 为正例子集合,D- 为反例子集合。
代价曲线 cost curve:
非均等代价下,反应学习器的期望总体代价。
横轴为取值为[0,1]的正例概率代价:
纵轴为取值为[0,1]的归一化代价:
其中 p 为正例的概率,FPR = 1 - TPR。
我们建立一个模型后,计算指标,从指标获取反馈,再继续改进模型,直到达到理想的准确度。在预测之前检查模型的准确度至关重要,而不应该建立一个模型后,就直接将模型应用到看不见的数据上。
今天先来简单介绍几种回归和分类常用的评估方法。
回归:
均方误差:其中 D 为数据分布,p 为概率密度函数。
from sklearn.metrics import mean_squared_error y_true = [3, -0.5, 2, 7] y_pred = [2.5, 0.0, 2, 8] mean_squared_error(y_true, y_pred) 0.375
分类:
二分类 and 多分类:错误率精度
二分类混淆矩阵:
from sklearn.metrics import confusion_matrix pipe_svc.fit(X_train, y_train) y_pred = pipe_svc.predict(X_test) confmat = confusion_matrix(y_true=y_test, y_pred=y_pred) print(confmat) [[71 1] [ 2 40]]单纯用 错误率,精度 是无法知道下面的问题时:
查准率:
应用场景-当你想知道“挑出的西瓜中有多少比例是好瓜”
from sklearn.metrics import precision_score from sklearn.metrics import recall_score, f1_score print('Precision: %.3f' % precision_score(y_true=y_test, y_pred=y_pred)) Precision: 0.976
查全率:
应用场景-当你想知道“所有好瓜盅有多少比例被挑出来了”
print('Recall: %.3f' % recall_score(y_true=y_test, y_pred=y_pred)) Recall: 0.952P-R 图:
当一个学习器的 P-R 曲线被另一个学习器的包住,那么后者性能优于前者。
有交叉时,需要在具体的查准率或者查全率下进行比较。
平衡点 (Break Event Point BEP):即上图中三个红点。
综合考虑查准率,查全率的度量
当 查准率=查全率 时的点,谁大谁比较优。
F1 度量:
也是综合考虑查准率,查全率的度量,比 BEP 更常用:
print('F1: %.3f' % f1_score(y_true=y_test, y_pred=y_pred)) F1: 0.964Fβ:
可以表达对查准率,查全率的不同重视度,
β > 1 则查全率有更大影响,β < 1 则查准率有更大影响,β = 1 则为 F1。
One vs. All (OvA) 分类问题这时会在 n 个二分类问题上综合考虑查准率,查全率。宏~ :先在每个混淆矩阵上计算率,再求平均宏查准率
宏查全率
宏 F1
微~ :先将各个混淆矩阵上对应元素求平均,再计算率
微查准率
微查全率
微 F1
ROC :
反映敏感性和特异性连续变量的综合指标,roc曲线上每个点反映着对同一信号刺激的感受性。
纵轴为 TPR 真正例率,预测为正且实际为正的样本占所有正例样本的比例
横轴为 FPR 假正例率。预测为正但实际为负的样本占所有负例样本的比例
对角线对应的是 “随机猜想”
当一个学习器的 ROC 曲线被另一个学习器的包住,那么后者性能优于前者。
有交叉时,需要用 AUC 进行比较。
AUC:
ROC 曲线下的面积
import numpy as np from sklearn.metrics import roc_auc_score y_true = np.array([0, 0, 1, 1]) y_scores = np.array([0.1, 0.4, 0.35, 0.8]) roc_auc_score(y_true, y_scores) 0.75代价敏感现实任务中,当不同类型的错误具有不同的影响后果时,它们的代价也是不一样的。
此时,可以设定
代价矩阵 cost matrix:
如果将第 0 类预测为 第 1 类造成的损失更大,则 cost01 > cost10,相反将第 1 类预测为 第 0 类造成的损失更大,则 cost01 < cost10 :
则带有“代价敏感”的错误率为:
其中 0 为正类,1 为反类,D+ 为正例子集合,D- 为反例子集合。
代价曲线 cost curve:
非均等代价下,反应学习器的期望总体代价。
横轴为取值为[0,1]的正例概率代价:
纵轴为取值为[0,1]的归一化代价:
其中 p 为正例的概率,FPR = 1 - TPR。
相关文章推荐
- 学习路线:入门机器学习基本概念之简述极大似然估计
- 学习路线:入门机器学习基本概念之PCA 的数学原理和可视化效果
- 学习路线:入门机器学习基本概念之凸优化有什么用
- 机器学习基本概念、学习步骤框架、算法评估
- 机器学习 基本概念,常用经典模型
- 机器学习中常用评估指标汇总
- 机器学习入门基本概念
- 机器学习中评估算法的常用评价指标
- [数据挖掘与机器学习] 十张图解释机器学习的基本概念(转自IT面试论坛)
- 机器学习模型评估中的常用指标
- 机器学习实战教程(第二章 机器学习基本理论)
- 机器学习最佳入门学习资料汇总
- 机器学习入门之一:基本概念
- PRML读书会第一章 Introduction(机器学习基本概念、学习理论、模型选择、维灾等)
- 机器学习最佳入门学习资料汇总
- 【Java基础 零】---学习路线和基本概念
- 【Java学习笔记】ThreadPoolExecutor 基本概念入门
- Oracle RAC学习笔记:基本概念及入门
- Oracle RAC学习笔记:基本概念及入门
- [机器学习入门] 经典台大李宏毅机器学习课程从这里开始