您的位置：首页 > 其它

机器学习模型评价指标总结

2018-01-08 16:55 344 查看
评价
指标
介绍
分类模型
准确率
 Accuracy=N（correct）/N(total)

准确率评价没有对不同类别进行区分。

此外，数据分布不平衡，即有的类别下样本过多，有的类别下样本少，两个类个数相差较大，这样样本占大部分的类别主导了准确率的计算。
平均准确率
 举例，类别0的准确率为80%，类别1下的准确率为97.5%，那么平均准确率为(80%+97.5%)/2=88.75%
对数损失函数（log-loss）
精确率-召回率（Precision-Recall）
 精确率(Precision)：分类正确的正样本个数占分类器所有预测为正样本的个数的比例；

召回率(Recall)：分类正确的正样本个数占全部实际正样本个数的比例。
AUC（ROC曲线下面积）
 ROC曲线的x轴便是FPR，y轴便是TPR。
混淆矩阵（Confusion Matrix）
 
由混淆矩阵可以计算以下评价指标:
1.准确率（Accuracy）：分类正确的样本数占所有样本数的比例
 
2.
平均准确率(Average per-class accuracy)：每个类别下的准确率的算术平均
 
3.精确率(Precision)：分类正确的正样本个数占分类器所有预测为正样本的个数的比例
 
4.召回率(Recall)：分类正确的正样本个数占全部实际正样本个数的比例
 
5.F1-Score：精确率与召回率的[b]调和平均值[/b]，它的值更接近于Precision与Recall中较小的值
 
6.ROC曲线：ROC曲线的x轴便是FPR，y轴便是TPR。
回归模型
平方根误差（RMSE）
 RMSE虽然广为使用，但是其存在一些缺点，因为它是使用平均误差，而平均值对异常点（outliers）较敏感，如果回归器对某个点的回归值很不理性，那么它的误差则较大，从而会对RMSE的值有较大影响，即平均值是[b]非鲁棒[/b]的。
Quantiles of Errors
   
为了改进RMSE的缺点，提高评价指标的鲁棒性，使用[b][u]误差的分位[/u][/b]数来代替，如[u]中位数来代替平均数[/u][b]。[/b]
假设100个数，最大的数再怎么改变，中位数也不会变，因此其对异常点具有鲁棒性。在现实数据中，往往会存在异常点，并且模型可能对异常点拟合得并不好，因此提高评价指标的鲁棒性至关重要，于是可以使用中位数来替代平均数，如MAPE[b]。[/b]
Almost Correct Predictions
 
排序评价指标
精确率-召回率（Precision-Recall）
 
Precision-Recall Curve
和 F1 Score
 
NDCG
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航