文本分类之情感分析– 停用词和惯用语

改善特征提取往往可以对分类的accuracy（和precision和召回率）有显著的正面影响。在本文中，我将评估word_feats的两项修改特征提取的方法：

过滤停用词 
包含二元语法搭配

为了有效地做到这一点，我们将修改前面的代码，这样我们就可以使用任意的特征提取函数，它接收一个文件中的词，并返回特征字典。和以前一样，我们将使用这些特征来训练朴素贝叶斯分类器。

import collections
import nltk.classify.util, nltk.metrics
from nltk.classify import NaiveBayesClassifier
from nltk.corpus import movie_reviews

def evaluate_classifier(featx):
negids = movie_reviews.fileids('neg')
posids = movie_reviews.fileids('pos')

negfeats = [(featx(movie_reviews.words(fileids=[f])), 'neg') for f in negids]
posfeats = [(featx(movie_reviews.words(fileids=[f])), 'pos') for f in posids]

negcutoff = len(negfeats)*3/4
poscutoff = len(posfeats)*3/4

trainfeats = negfeats[:negcutoff] + posfeats[:poscutoff]
testfeats = negfeats[negcutoff:] + posfeats[poscutoff:]

classifier = NaiveBayesClassifier.train(trainfeats)
refsets = collections.defaultdict(set)
testsets = collections.defaultdict(set)

for i, (feats, label) in enumerate(testfeats):
refsets[label].add(i)
observed = classifier.classify(feats)
testsets[observed].add(i)

print 'accuracy:', nltk.classify.util.accuracy(classifier, testfeats)
print 'pos precision:', nltk.metrics.precision(refsets['pos'], testsets['pos'])
print 'pos recall:', nltk.metrics.recall(refsets['pos'], testsets['pos'])
print 'neg precision:', nltk.metrics.precision(refsets['neg'], testsets['neg'])
print 'neg recall:', nltk.metrics.recall(refsets['neg'], testsets['neg'])
classifier.show_most_informative_features()

词袋特征抽取的基准

这是词袋特征选择的特征抽取。

def word_feats(words):
return dict([(word, True) for word in words])

evaluate_classifier(word_feats)

结果与前面的文章中的一样，但是我已经把它们包括在这里以供参考：

accuracy: 0.728
pos precision: 0.651595744681
pos recall: 0.98
neg precision: 0.959677419355
neg recall: 0.476
Most Informative Features
magnificent = True              pos : neg    =     15.0 : 1.0
outstanding = True              pos : neg    =     13.6 : 1.0
insulting = True              neg : pos    =     13.0 : 1.0
vulnerable = True              pos : neg    =     12.3 : 1.0
ludicrous = True              neg : pos    =     11.8 : 1.0
avoids = True              pos : neg    =     11.7 : 1.0
uninvolving = True              neg : pos    =     11.7 : 1.0
astounding = True              pos : neg    =     10.3 : 1.0
fascination = True              pos : neg    =     10.3 : 1.0
idiotic = True              neg : pos    =      9.8 : 1.0

停用词过滤

停用词是通常被认为没用的词。大多数搜索引擎忽略这些词，因为他们是如此普遍，包括他们将大大增加索引的大小，而不会提高精度和召回率。 NLTK附带了一个停用词语料列表，其中包括128个英文停用词。让我们看看当我们过滤掉这些词，会发生什么。

from nltk.corpus import stopwords
stopset = set(stopwords.words('english'))

def stopword_filtered_word_feats(words):
return dict([(word, True) for word in words if word not in stopset])

evaluate_classifier(stopword_filtered_word_feats)

一个停用词过滤的词袋的结果是：

accuracy: 0.726
pos precision: 0.649867374005
pos recall: 0.98
neg precision: 0.959349593496
neg recall: 0.472

accuracy下降了0.2％，pos 的 precision和负recall也下降了！显然，停用词将信息添加到情感分析分类。我并没有包括最具信息量的特征，因为他们并没有改变。

二元语法搭配

正如在对精度和召回率的文章的末尾提到的，包括二元语法(连词)将可能提高分类精度。假设是，人们说这样的话“不是很大”，由于它认为“伟大”作为一个单独的词，这种负面的表达被词袋模型解释为 正 的。

为了找到显著二元词组，我们可以使用nltk.collocations.BigramCollocationFinder和nltk.metrics.BigramAssocMeasures。该BigramCollocationFinder维持2个内部FreqDists，一个是独立单词的频率，另一个是二元词组的频率。一旦有了这些频率分布，它可以利用BigramAssocMeasures提供的打分函数为单独的二元词组打分，比如卡方。这些计分函数度量2个词的搭配关系，二元组基本上是与每个独立的词的出现一样频繁。

import itertools
from nltk.collocations import BigramCollocationFinder
from nltk.metrics import BigramAssocMeasures

def bigram_word_feats(words, score_fn=BigramAssocMeasures.chi_sq, n=200):
bigram_finder = BigramCollocationFinder.from_words(words)
bigrams = bigram_finder.nbest(score_fn, n)
return dict([(ngram, True) for ngram in itertools.chain(words, bigrams)])

evaluate_classifier(bigram_word_feats)

一些实验后，我发现，对每个文件使用200个最好的二元组产生了很大的成效：

accuracy: 0.816
pos precision: 0.753205128205
pos recall: 0.94
neg precision: 0.920212765957
neg recall: 0.692
Most Informative Features
magnificent = True              pos : neg    =     15.0 : 1.0
outstanding = True              pos : neg    =     13.6 : 1.0
insulting = True              neg : pos    =     13.0 : 1.0
vulnerable = True              pos : neg    =     12.3 : 1.0
('matt', 'damon') = True              pos : neg    =     12.3 : 1.0
('give', 'us') = True              neg : pos    =     12.3 : 1.0
ludicrous = True              neg : pos    =     11.8 : 1.0
uninvolving = True              neg : pos    =     11.7 : 1.0
avoids = True              pos : neg    =     11.7 : 1.0
('absolutely', 'no') = True              neg : pos    =     10.6 : 1.0

是的，你没有看错，Matt Damon显然是在电影评论中正向情绪的最佳指标之一。但是，尽管如此，这也是值得的结果

精度可达近9％
POS精度已经增加了10％，召回率只有4％的降幅
负召回已经增加了21％，precision只有不到4％的降幅

所以看来二元组的假设是正确的，包括显著二元组可以提高分类效率。请注意，它是显著的二元组所以提高了效率。我试着用nltk.util.bigrams包括所有的二元组，结果只比基准高几个点。这证明了只包括显著的特征可以提高精度，相比使用所有功能的想法。在以后的文章中，我将尝试修剪下单个词的特征，只包括显著词。

原文：http://streamhacker.com/2010/05/24/text-classification-sentiment-analysis-stopwords-collocations/