Python自然语言处理(一)--利用NLTK自带方法完成NLP基本任务
2014-01-27 17:08
239 查看
最近看了一些NLTK进行自然语言处理的资料,这里总结归纳一下。
原文发表在:http://www.pythontip.com/blog/post/10012/
------------------------------------谈正题-------------------------------------------------
NLTK是Python很强大的第三方库,可以很方便的完成很多自然语言处理(NLP)的任务,包括分词、词性标注、命名实体识别(NER)及句法分析。
NLTK安装教程:www.pythontip.com/blog/post/10011/
下面介绍如何利用NLTK快速完成NLP基本任务
一、NLTK进行分词
用到的函数:
nltk.sent_tokenize(text) #对文本按照句子进行分割
nltk.word_tokenize(sent) #对句子进行分词
二、NLTK进行词性标注
用到的函数:
nltk.pos_tag(tokens)#tokens是句子分词后的结果,同样是句子级的标注
三、NLTK进行命名实体识别(NER)
用到的函数:
nltk.ne_chunk(tags)#tags是句子词性标注后的结果,同样是句子级
上例中,有两个命名实体,一个是Xi,这个应该是PER,被错误识别为GPE了; 另一个事China,被正确识别为GPE。
四、句法分析
nltk没有好的parser,推荐使用stanfordparser
但是nltk有很好的树类,该类用list实现
可以利用stanfordparser的输出构建一棵python的句法树
原文发表在:http://www.pythontip.com/blog/post/10012/
------------------------------------谈正题-------------------------------------------------
NLTK是Python很强大的第三方库,可以很方便的完成很多自然语言处理(NLP)的任务,包括分词、词性标注、命名实体识别(NER)及句法分析。
NLTK安装教程:www.pythontip.com/blog/post/10011/
下面介绍如何利用NLTK快速完成NLP基本任务
一、NLTK进行分词
用到的函数:
nltk.sent_tokenize(text) #对文本按照句子进行分割
nltk.word_tokenize(sent) #对句子进行分词
二、NLTK进行词性标注
用到的函数:
nltk.pos_tag(tokens)#tokens是句子分词后的结果,同样是句子级的标注
三、NLTK进行命名实体识别(NER)
用到的函数:
nltk.ne_chunk(tags)#tags是句子词性标注后的结果,同样是句子级
上例中,有两个命名实体,一个是Xi,这个应该是PER,被错误识别为GPE了; 另一个事China,被正确识别为GPE。
四、句法分析
nltk没有好的parser,推荐使用stanfordparser
但是nltk有很好的树类,该类用list实现
可以利用stanfordparser的输出构建一棵python的句法树
相关文章推荐
- Python自然语言处理(一)--利用NLTK自带方法完成NLP基本任务
- Python自然语言处理(一)--利用NLTK自带方法完成NLP基本任务
- Python自然语言处理(二)--NLTK调用Stanford_NLP_Tools完成NLP任务
- Python自然语言处理(二)--NLTK调用Stanford_NLP_Tools完成NLP任务
- NLP基本任务-nltk_data文本分割
- C++中提供了多种基本的数据类型。实际上,这些远不能满足我们的需求,如复数(第10章的例子大多是处理虚数的),再如分数。本任务将设计一个简单的分数类,完成对分数的几个运算。一则巩固基于对象编程的方法,
- koa项目,利用koa框架完成mcv风格代码书写及基本的常用操作
- 关于利用RabbitMQ实现延迟任务的方法详解
- 利用ComboBox自带属性完成自动补全功能
- 利用SQL Server 2008完成对基本表的操作 第三章(一)
- 如何利用期限来完成任务
- C#利用微软自带库进行中文繁体和简体之间转换的方法
- 利用ctrl+z停掉任务再kill的暴力方法关闭ctrl+c ctrl+v都关不了的任务
- 基于ubuntu10之利用脚本帮你完成监控任务
- 利用win10自带虚拟机hyper-v安装centos7方法详解
- 如何利用期限来完成任务
- 如何利用Xcode自带的方法生成二维码
- 利用yii自带工具创建基本项目目录
- 2.利用windows API完成一个基本的windows application
- 利用ListView的基本方法实现效果