人工智能：python 实现 第十章，NLP 第二天 基于词义的词形还原

基于词义的词形还原lemmatization 是另一种词形还原的方式。 在前一节中，我们可以明白从词干中提取词的基本形式没有任何意义。例如，三个三个词干提取器都显示calves的基本形式是calv,但它并不是一个真正的单词。Lemmatization 采取了一种更具结构化的方法解决了这个问题。
lemmatizatio原理是使用语法和词态分析器进行单词分析，它包含了去除了如ing和ed等后缀的单词基本形式，所有基本的形式的单词集合被称作为字典。如果你使用lemmatization对calves进行词形还原，将输出calf。值得注意的是单词基本形式的输出依赖于该词是动词还是名词。下面让我们看看如何使用NLTK创建 一个姓的python 文件 并且导入 下列包：from nltk.stem import WordNetLemmatizer
定义输入单词。我们将使用先前使用的单词集以便我们能够比较输出结果input_words =['writing','calves','be',branded','horse','randomize','possibly','provision'，hospital,‘hospital','kept','scratchy','code']创建一个lemmatizer对象#创建对象lemmatizer = WordNetLemmatizer()为显示列表创建名字和格式#创建显示列表名字lemmatizer_names =['noun Lemmatizer','verb lemmatizer']formatted_text = '{:>24}'*(len(lemmatizer_names)+1)print('\n',formatted_text.format('INPUT WORD'),*lemmatizer_names,'\n','='*75)
输入单词集并使用动词和名词词形还原器还原单词：#对每一个单词进行还原并输出for word in input_words:     output =[word,lemmatizer.lemmatize(word,pos='n'),lemmatizer.lemmatize(word,pos='v')]    print(formatted_text.format(*output))完整代码如下from nltk.stem import WordNetLemmatizer

input_words = ['writing', 'calves', 'be', 'branded', 'horse', 'randomize',
'possibly', 'provision', 'hospital', 'kept', 'scratchy', 'code']

# 创建 lemmatizer对象
lemmatizer = WordNetLemmatizer()

# 创建输出表格格式
lemmatizer_names = ['NOUN LEMMATIZER', 'VERB LEMMATIZER']
formatted_text = '{:>24}' * (len(lemmatizer_names) + 1)
print('\n', formatted_text.format('INPUT WORD', *lemmatizer_names),
'\n', '='*75)

#对输入的单词进行还原并输出
for word in input_words:
output = [word, lemmatizer.lemmatize(word, pos='n'),lemmatizer.lemmatize(word, pos='v')]
print(formatted_text.format(*output))运行结果：



我们能看到,当遇到形如writing或者calves 这些单词时，名词还原器和动词还原器分词结果是不一样的 。如果将这些输出与之前的stemmer 的输出结果相比，这两者的结果也有不同。基于字典的分词方式比基于规则的方式是更准确的还原单词，更加有意义。