利用Stanford Parser进行观点词否定词抽取

利用Stanford Parser进行观点词否定词抽取

问题：

接上一篇内容，当我们在文本中得到特征词的观点词之后，如果我们要做情感分析、极性判定（用户是在赞美还是批评），除了分析观点词本身的情感色彩之外，我们还需得到句子中是否有对该观点词的否定。如“我喜欢这个产品”->肯定；“我不喜欢这个产品”->否定。常见的否定词一般有“不”“无”“没有”等，否定词常常出现在观点词前面（不一定紧邻，有可能当中会隔着助词或副词等），因此如果光用统计的方法去判定准确率不高。

方法：

1.选择文本数据（数据源，如产品评论文本等）

2.对文本进行断句和分词

3.语法分析（Stanford Parser)

4.观点词抽取（参考前一篇内容）

5.否定词抽取。（利用stanford Parser返回的TypedDependency关系对象集合，查找当前观点词是否和其他词存在否定关系）

代码：

这里给的代码直接略过了前面几步，输入为：分词后的句子和观点词，输出：该观点词的否定词。

package textAnalysis;

import java.io.StringReader;

import java.util.Collection;

import java.util.List;

import edu.stanford.nlp.process.Tokenizer;

import edu.stanford.nlp.ling.HasWord;

import edu.stanford.nlp.ling.Label;

import edu.stanford.nlp.trees.*;

import edu.stanford.nlp.ling.HasWord;

import edu.stanford.nlp.parser.lexparser.LexicalizedParser;

import edu.stanford.nlp.process.Tokenizer;

import edu.stanford.nlp.trees.GrammaticalStructure;

import edu.stanford.nlp.trees.GrammaticalStructureFactory;

import edu.stanford.nlp.trees.PennTreebankLanguagePack;

import edu.stanford.nlp.trees.Tree;

import edu.stanford.nlp.trees.TreebankLanguagePack;

import edu.stanford.nlp.trees.TypedDependency;

import edu.stanford.nlp.trees.international.pennchinese.ChineseTreebankLanguagePack;

import edu.stanford.nlp.parser.lexparser.LexicalizedParser;

import edu.stanford.nlp.parser.lexparser.Test;

public class NegWordExtra
{

public NegWordExtra(){

}

public static void main(String[]
args) {

LexicalizedParser lp =

new LexicalizedParser("grammar/chinesePCFG.ser.gz");

Test.MAX_ITEMS =
2000000000;

TreebankLanguagePack tlp = new ChineseTreebankLanguagePack();

GrammaticalStructureFactory
gsf = tlp.grammaticalStructureFactory();

String sentence = "这个 产品 很 保湿 但 不 油腻";

String keyword = "油腻";

Tokenizer<? extends HasWord>
toke = tlp.getTokenizerFactory()

.getTokenizer(new StringReader(sentence));

List<? extends HasWord>
sentList = toke.tokenize();

Tree parser = lp.apply(sentList);

GrammaticalStructure gs =
gsf.newGrammaticalStructure(parser);

Collection tdl = gs.typedDependenciesCollapsedTree();

//System.out.println(tdl);

for(int i
= 0;i < tdl.size();i ++){

TypedDependency td
= (TypedDependency)tdl.toArray()[i];

String
nodDep = td.dep().toString();

String
nodgov = td.gov().toString();

String
relation = td.reln().toString();

//int act
= -1;

if(nodgov.contains(keyword)
&& relation.equals("neg")){

//act
= td.gov().index();

System.out.println("Dep:" +
nodDep + ", Gov:" +
nodgov + " > relation:"+
relation);

}

}

}

}

注：本程序用的是Stanford 2011年9月14号发布的jar包和词库。因为发现在12年2月3号发的那个包把否定关系“neg”归为了副词修饰形容词的“advmod”关系了，所以没法得到否定词，具体情况还在学习研究中，有知道的同学也麻烦告诉我下。谢谢。