数据挖掘分类算法评价指标
2018-04-02 15:15
309 查看
转载自:http://blog.jobbole.com/90173/
一、引言
分类算法有很多,不同分类算法又用很多不同的变种。不同的分类算法有不同的特定,在不同的数据集上表现的效果也不同,我们需要根据特定的任务进行算法的选择,如何选择分类,如何评价一个分类算法的好坏,前面关于决策树的介绍,我们主要用的正确率(accuracy)来评价分类算法。正确率确实是一个很好很直观的评价指标,但是有时候正确率高并不能代表一个算法就好。比如某个地区某天地震的预测,假设我们有一堆的特征作为地震分类的属性,类别只有两个:0:不发生地震、1:发生地震。一个不加思考的分类器,对每一个测试用例都将类别划分为0,那那么它就可能达到99%的正确率,但真的地震来临时,这个分类器毫无察觉,这个分类带来的损失是巨大的。为什么99%的正确率的分类器却不是我们想要的,因为这里数据分布不均衡,类别1的数据太少,完全错分类别1依然可以达到很高的正确率却忽视了我们关注的东西。接下来详细介绍一下分类算法的评价指标。二、评价指标
1、几个常用的术语这里首先介绍几个常见的模型评价术语,现在假设我们的分类目标只有两类,计为正例(positive)和负例(negtive)分别是:1)True positives(TP): 被正确地划分为正例的个数,即实际为正例且被分类器划分为正例的实例数(样本数);2)False positives(FP): 被错误地划分为正例的个数,即实际为负例但被分类器划分为正例的实例数;3)False negatives(FN):被错误地划分为负例的个数,即实际为正例但被分类器划分为负例的实例数;4)True negatives(TN): 被正确地划分为负例的个数,即实际为负例且被分类器划分为负例的实例数。实际类别 | 预测类别 | ||
Yes | No | 总计 | |
Yes | TP | FN | P(实际为Yes) |
No | FP | TN | N(实际为No) |
总计 | P’(被分为Yes) | N’(被分为No) | P+N |
鲁棒性:处理缺失值和异常值的能力;
可扩展性:处理大数据集的能力;
可解释性:分类器的预测标准的可理解性,像决策树产生的规则就是很容易理解的,而神经网络的一堆参数就不好理解,我们只好把它看成一个黑盒子。
对于某个具体的分类器而言,我们不可能同时提高所有上面介绍的指标,当然,如果一个分类器能正确分对所有的实例,那么各项指标都已经达到最优,但这样的分类器往往不存在。比如我们开头说的地震预测,没有谁能准确预测地震的发生,但我们能容忍一定程度的误报,假设1000次预测中,有5次预测为发现地震,其中一次真的发生了地震,而其他4次为误报,那么正确率从原来的999/1000=99.9%下降到996/1000=99.6,但召回率从0/1=0%上升为1/1=100%,这样虽然谎报了几次地震,但真的地震来临时,我们没有错过,这样的分类器才是我们想要的,在一定正确率的前提下,我们要求分类器的召回率尽可能的高。
相关文章推荐
- 数据挖掘分类算法的评价指标
- 数据挖掘系列(7)分类算法评价
- 数据挖掘系列(5)分类算法评价
- 数据挖掘系列(7)分类算法评价
- 数据挖掘(7):分类算法评价
- 数据挖掘(7):分类算法评价
- 数据挖掘系列(7)分类算法评价
- 数据挖掘---分类算法之支持向量机SVM
- 数据挖掘之分类算法概述与比较(转载)
- 分类算法中常用的评价指标
- 数据挖掘十大经典算法(10) CART: 分类与回归树
- 数据挖掘决策树分类算法简介
- 数据挖掘系列(8)朴素贝叶斯分类算法原理与实践
- 数据挖掘算法之深入朴素贝叶斯分类
- 数据挖掘之分类(kNN算法的描述及使用)
- 数据挖掘---分类算法之支持向量机实践
- 数据挖掘算法之分类分析(一)贝叶斯分类器
- 数据挖掘十大经典算法学习之C4.5决策树分类算法及信息熵相关
- 一小时了解数据挖掘②:分类算法的应用和成熟案例解析
- 数据挖掘-决策树ID3分类算法的C++实现