python自然预言处理_(一)python与NLP

一错误

1\:

>>> fdist1=FreqDist(text1)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
NameError: name 'FreqDist' is not defined

处理办法:重新倒入

from nltk import *

检查词汇表中的词是否大于15

V=set(text1)

long_words=[w for w in V if len(w) >15]
长度超过7并且出现次数大于7

fdist5=FreqDist(text5)
sorted([w for w in set(text5) if len(w)>7 and fdist5[w]>7])

总结:

在 Python 中文本用链表来表示:['Monty', 'Python']。我们可以使用索引、分片和 l

en()函数对链表进行操作。

词“token”(标识符)是指文本中给定词的特定出现;词“type”(类型)则是指词作为一

个特定序列字母的唯一形式。我们使用 len(text)计数词的标识符,使用 len(set(text))

计数词的类型。

我们使用 sorted(set(t))获得文本 t 的词汇表。

我们使用[f(x) for x in text]对文本的每一项目进行操作。

为了获得没有大小写区分和忽略标点符号的词汇表,我们可以使用 set([w.lower() f

or w in text if w.isalpha()])。

我们使用 for 语句对文本中的每个词进行处理,例如 for win t:或者 for word in te

xt:。后面必须跟冒号和一块在每次循环被执行的缩进的代码。

我们使用 if 语句测试一个条件: if len(word)<5:。后面必须跟冒号和一块仅当条件为

真时执行的缩进的代码。

频率分布是项目连同它们的频率计数的集合(例如:一个文本中的词与它们出现的频

率)。

函数是指定了名字并且可以重用的代码块。函数通过 def 关键字定义,例如在 def mu

lt( x , y )中 x 和 y 是函数的参数,起到实际数据值的占位符的作用。

函数是通过指定它的名字及一个或多个放在括号里的实参来调用,就像这样:mult(3,

4)或者 len(text1)。