特征词选择算法对文本分类准确率的影响(四)
2010-08-30 20:02
591 查看
本小节,我们仅考虑一种特征词选择框架IG(infomation Gain)。
采用两种概率建模
第一种我们称之为经典的概率建模。也就是被公认采纳的那一种。
也就是说该种方法认为 每个类别的概率可以根据训练语料中两个类别的文章数目来估计,由于我的实验中两类数目相等所以各为二分之一。
文章是连接词语与类别的桥梁。因此在计算 TF(t,C)的时候,有可以根据文档是由多变量伯努利分布生成(一),还是多项式分布生成(二)。有两种概率计算方式。在(一)的情况下,仅考虑一个词在文章中是否出现,出现则为1,否则则为0。在(二)的情况下不仅要考虑一个词在文章中是否出现,而且要考虑其出现的次数。
下面给出情况一和情况二下的实验结果:
情况一:
情况二
对比后发现,取得最高准确率的值和维度都是一样的。不仅如此,
其实在两种情况下计算的各个文档规模,在各个特征维度上的5次交叉验证的平均准确率也是惊人的一致(大家不要怀疑我伪造数据哈,没有这个必要)
两种方法计算的平均准确率如下(图片只显示了部分,最后我会将准确率数据打包上传)
采用两种概率建模
第一种我们称之为经典的概率建模。也就是被公认采纳的那一种。
也就是说该种方法认为 每个类别的概率可以根据训练语料中两个类别的文章数目来估计,由于我的实验中两类数目相等所以各为二分之一。
文章是连接词语与类别的桥梁。因此在计算 TF(t,C)的时候,有可以根据文档是由多变量伯努利分布生成(一),还是多项式分布生成(二)。有两种概率计算方式。在(一)的情况下,仅考虑一个词在文章中是否出现,出现则为1,否则则为0。在(二)的情况下不仅要考虑一个词在文章中是否出现,而且要考虑其出现的次数。
下面给出情况一和情况二下的实验结果:
情况一:
情况二
对比后发现,取得最高准确率的值和维度都是一样的。不仅如此,
其实在两种情况下计算的各个文档规模,在各个特征维度上的5次交叉验证的平均准确率也是惊人的一致(大家不要怀疑我伪造数据哈,没有这个必要)
两种方法计算的平均准确率如下(图片只显示了部分,最后我会将准确率数据打包上传)
相关文章推荐
- 特征词选择算法对文本分类准确率的影响(二)
- 特征词选择算法对文本分类准确率的影响(三)
- 特征词选择算法对文本分类准确率的影响(前言)
- 特征词选择算法对文本分类准确率的影响(五)
- 短文本/Query分类算法特征选择
- 技术积累--常用的文本分类的特征选择算法
- 文本分类入门特征选择算法之开方检验
- 文本分类入门(十)特征选择算法之开方检验
- 文本分类特征词选择算法科普(前言and一)
- 文本分类入门(十)特征选择算法之开方检验
- 文本分类入门-特征选择算法之开方检验
- 短文本/Query分类算法特征选择
- 从文本分类问题中的特征词选择算法追踪如何将数学知识,数学理论迁移到实际工程中去
- 文本分类入门:特征选择算法之开方检验、信息增益;特征选择与特征权重计算的区别
- 文本分类中的特征词选择算法系列科普(前言AND 一)
- 分类算法系列2----逻辑回归特征选择
- 借助weka实现的分类器进行针对文本分类问题的特征词选择实验(实验代码备份)
- 文本分类入门-特征选择方法之信息增益
- 文本特征选择的关键算法总结
- 文本分类特征选择方法