Python自然语言处理(一)--利用NLTK自带方法完成NLP基本任务

Python自然语言处理(一)--利用NLTK自带方法完成NLP基本任务

liushulinle
2014-01-27 14:01:58 点击: 29167 | 收藏

9

NLTK是Python很强大的第三方库，可以很方便的完成很多自然语言处理（NLP）的任务，包括分词、词性标注、命名实体识别（NER）及句法分析。

NLTK安装教程：www.pythontip.com/blog/post/10011/ 

下面介绍如何利用NLTK快速完成NLP基本任务

一、NLTK进行分词

用到的函数：

nltk.sent_tokenize(text)
#对文本按照句子进行分割

nltk.word_tokenize(sent)
#对句子进行分词



二、NLTK进行词性标注

用到的函数：

nltk.pos_tag(tokens)#tokens是句子分词后的结果，同样是句子级的标注






三、NLTK进行命名实体识别（NER）

用到的函数：

nltk.ne_chunk(tags)#tags是句子词性标注后的结果，同样是句子级



上例中，有两个命名实体，一个是Xi,这个应该是PER，被错误识别为GPE了； 另一个事China，被正确识别为GPE。

四、句法分析



nltk没有好的parser，推荐使用stanfordparser
但是nltk有很好的树类，该类用list实现
可以利用stanfordparser的输出构建一棵python的句法树



转自http://www.pythontip.com/blog/post/10012/