您的位置:首页 > 其它

不平衡数据分类方法总结

2016-07-26 11:42 197 查看
          传统的分类算法在面向不平衡数据时,效果一般,尤其是对少数类的判断准确率很低,而现实生活中少数类往往是比多数类更有价值的。例如,网络安全预测中,可能1000次通信只有几次是真的网络攻击,但是将正常通信判断为攻击和将攻击判断为正常通信带来的后果是完全不同的,我们其实更在意判断是网络攻击的准确率。

        针对不平衡数据,我们往往从数据和算法两个层面来进行处理:

       (一)数据层面:又可分为过抽样和欠抽样。

                   a)  过抽样指的是增加少数类的样本数(可以直接重复已有数据,也可以按照一定规则合 成少数类数据);

                   b)  欠抽样指的是减少多数类样本的数量,例如,可以将多数类样本分为“噪音样本”,“边界样本”,“安全样本”,我们将“噪音样本”和“边界样本”删除,只保留“安全样本”,这样就减少了多数类样本的数量。

        (二)算法层面:

                    a)  代价敏感:可以给每个训练样本加权或者在算法中引入敏感因子

                    b)  集成学习方法:即多个分类器,然后利用投票或者组合得到结果。又可以分为同态集成学习方法(同种分类器组合)和异态集成学习方法(多种分类器组合)

                    c)  单类分类器方法:仅对少数类进行训练,例如运用SVM算法
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: