不平衡数据分类方法总结
2016-07-26 11:42
197 查看
传统的分类算法在面向不平衡数据时,效果一般,尤其是对少数类的判断准确率很低,而现实生活中少数类往往是比多数类更有价值的。例如,网络安全预测中,可能1000次通信只有几次是真的网络攻击,但是将正常通信判断为攻击和将攻击判断为正常通信带来的后果是完全不同的,我们其实更在意判断是网络攻击的准确率。
针对不平衡数据,我们往往从数据和算法两个层面来进行处理:
(一)数据层面:又可分为过抽样和欠抽样。
a) 过抽样指的是增加少数类的样本数(可以直接重复已有数据,也可以按照一定规则合 成少数类数据);
b) 欠抽样指的是减少多数类样本的数量,例如,可以将多数类样本分为“噪音样本”,“边界样本”,“安全样本”,我们将“噪音样本”和“边界样本”删除,只保留“安全样本”,这样就减少了多数类样本的数量。
(二)算法层面:
a) 代价敏感:可以给每个训练样本加权或者在算法中引入敏感因子
b) 集成学习方法:即多个分类器,然后利用投票或者组合得到结果。又可以分为同态集成学习方法(同种分类器组合)和异态集成学习方法(多种分类器组合)
c) 单类分类器方法:仅对少数类进行训练,例如运用SVM算法
针对不平衡数据,我们往往从数据和算法两个层面来进行处理:
(一)数据层面:又可分为过抽样和欠抽样。
a) 过抽样指的是增加少数类的样本数(可以直接重复已有数据,也可以按照一定规则合 成少数类数据);
b) 欠抽样指的是减少多数类样本的数量,例如,可以将多数类样本分为“噪音样本”,“边界样本”,“安全样本”,我们将“噪音样本”和“边界样本”删除,只保留“安全样本”,这样就减少了多数类样本的数量。
(二)算法层面:
a) 代价敏感:可以给每个训练样本加权或者在算法中引入敏感因子
b) 集成学习方法:即多个分类器,然后利用投票或者组合得到结果。又可以分为同态集成学习方法(同种分类器组合)和异态集成学习方法(多种分类器组合)
c) 单类分类器方法:仅对少数类进行训练,例如运用SVM算法
相关文章推荐
- Android 数据绑定框架DataBinding,堪称解决界面逻辑的黑科技
- Mysql(一) 在CentOS 7 上安装mysql 5.7
- IOS 强制去除里面的警告
- 阿里云CentOS7挂载SSD云盘的方法
- linux驱动开发FL2440开发板-LED驱动及其测试程序
- Google APAC----Africa 2010, Qualification Round(Problem A. Store Credit)----Perl 解法
- git笔记
- 堆和栈的区别(内存和数据结构)
- 使用浏览器地址栏调用CXF Webservice的写法
- Activity
- poj 3295 Tautology
- findbugs常见问题
- 2016.07.21【初中部 NOIP提高组 】模拟赛C
- 一个简单的锁的实现
- [LeetCode练习题-C语言]242. Valid Anagram
- javascript比较实用方法:身份证验证、文本框设置不可空等等
- 中国互联网技术联盟发布首个“互联网+”权威定义
- Python(1):入门
- Qt多线程间信号槽传递非QObject类型对象的参数
- js注意事项07