【Python&NLP】WordNet的应用

语言学交流平台



来自上海的语言学交流平台

什么是WordNet？ WordNet是普林斯顿大学认知科学实验室与计算机系联合开发的一个英语词库，收录了超过十万个实词。 在WordNet中，意义相近的单词组成一个同义词组（Synset），而同义词组之间则以上-下义，同义-反义，整体-部分以及蕴含等语义关系连接在一起，构成一个由同义词组作为结点，语义关系作为边的网状结构。

NLTK工具包中也收录了WordNet数据库（版本3.01），今天就让林先生为您示范如何在Python-NLTK环境下访问和使用WordNet，主要包括访问WordNet中的同义词组，查询同义词组之间的各种语义关系，计算单词之间的语义相似度以及同义词组之间的语义关系可视化四个部分。

温馨提示：本期内容基于Python 3.4演示，另需安装软件包NLTK 3.2，Matplotlib以及NetworkX。

1. 导入WordNet资源

如同我们上一期介绍过的CMU发音词典一样，在使用NLTK中的某一个模组之前，需要导入该模组。我们从NLTK的语料库中导入WordNet，并将其命名为“wn”。

import nltk

from nltk.corpus import wordnet as wn



2. 同义词组

WordNet是一个由点和边构成的网络图，每一个点是一个同义词组，包含由若干个互为同义的单词组成的单词集，点和点之间则由表示同义词组之间语义关系的边组成。

首先，我们来查询一下单词“motorcar”所在的同义词组。

wn.synsets('motorcar') 

由上图可见，单词'motorcar'属于名为Synset('car.n.01')的同义组——'motorcar'仅仅出现在一个同义词组里，说明'motorcar'只有一个义项。 接下来我们查询单词'car'所在的同义词组都有哪些：

wn.synsets('car')

与'motorcar'不同，单词'car'出现在了五个同义词组中，这说明单词'car'共有五个义项。我们再来看看单词'fly'都有哪些义项：

wn.synsets('fly')

可以看到，WordNet中的每一个词项都有一个由三个部分组成的固定标识：以'car.n.01'为例说明：'car'代表了单词的词形（lemma），'n'代表了单词的词类（POS, part-of-speech），‘01’则用于区别词性词类相同，而义项不同的单词（例如名词bank“银行”与名词bank“河岸”）

接下来，我们看看词项'car.n.01'所在的同义词组（也就是'motorcar'所在的同义词组）中都有哪些词项，这一同义词组的含义以及例句：

wn.synset('car.n.01').lemma_names()

wn.synset('car.n.01').definition()

wn.synset('car.n.01').examples()



3. 上下义组

上下义关系（hypernymy-hyponymy）是名词之间常见的语义关系。上义词通常表示一个较大的类，而下义词通常表示大类下的一个子类。比如“动物”是“人类”的上义词，同时是“生物”的下义词。

我们来看看同义词组Synset(’car.n.01‘)的下义同义词组都有哪些（注：我们在此检索的下义词词组均为Synset(’car.n.01‘)的直接子节点）：

for w in wn.synset('car.n.01').hyponyms():

    print (w)

林先生推测，WordNet中Synset('car.n.01')的下义同义词组词条一定是某位汽车发烧友编制的。

同样地，我们可以查询同义词组Synset('car.n.01')的上义同义词组：

wn.synset('car.n.01').hypernyms()



'motor_vehicle'是什么？我们来查查它的定义：

wn.synset('motor_vehicle.n.01').definition()

接下来，我们看看同义词组Synset('motor_vehicle')都有哪些下义同义词组：

for w in wn.synset('motor_vehicle.n.01').hyponyms():

    print (w)

到这里为止，我们便得到了WordNet中的部分上下义词组关系图，如下图所示，其中大括号左端的同义词组是大括号中同义词组的上义词组。

我们可以用下列代码查询同义词组Synset('car.n.01')最顶端的上义词组：

wn.synset('car.n.01').root_hypernyms()

如果我们试图画出从同义词组Synset('car.n.01')到顶端上义词组Synset('entity.n.01')的路径，可能得到不止一条路径：

for w in wn.synset('car.n.01').hypernym_paths():

    for y in w:

        print(y)

    print('\n')

可以看到，在WordNet中，同义词组Synset('wheeled_vehicle.n.01')拥有两个不同的上义同义词组：Synset('vehicle.n.01')与Synset('container.n.01')。这一结构使得同义词组Synset('wheeled_vehicle.n.01')可以画出两条到顶点同义词组的路径。

4. 其他语义关系

除了上下义，Wordnet中还定义了许多其他种类的语义关系。

查询构成整体的各个部分（整体-部分）：

wn.synset('room.n.01').part_meronyms()

查询构成某一物体的材质：

wn.synset('meat.n.01').substance_meronyms()

查询由某一物体构成的整体：

wn.synset('person.n.01').member_holonyms()

wn.synset('tree.n.01').member_holonyms()

在WordNet中，一些词形分属许多不同的同义词组，而这些同义词组之间也由一定的语义关系连接在一起。我们先查询出作为名词的'mint'所属的同义词组以及各同义词组的定义：

for synset in wn.synsets('mint',wn.NOUN):

 
  print(synset.name(),':',

 
      synset.definition())



这些同义词组之间存在着一定的语义关系：'mint.n.04'是'mint.n.02'的组成部分，而'mint.n.04'又是'mint.n.05'的组成材质：



WordNet的语义关系图里怎么能少了“蕴含”关系呢？

wn.synset('eat.v.01').entailments()

wn.synset('walk.v.01').entailments()

如果一个人在“吃东西”（eat），那么这个人一定会做出“咀嚼”（chew）和“吞咽”（swallow）这两个动作；如果一个人在“走路”（walk），那么这个人一定是在“一步一步地走”（step）。

最后，反义关系也在WordNet中有所体现：

简单反义（Simple Antonyms，也称Binary Pairs，两词之间是非此即彼的关系）

wn.lemma('dead.a.01.dead').antonyms()



程度反义（Gradable Antonyms，两词之间有中间状态）

wn.lemma('shallow.a.01.shallow').antonyms()



反向反义（Reverses，两词表示两个互逆或方向相反的动作）

wn.lemma('tie.v.01.tie').antonyms()

wn.lemma('ascend.v.01.ascend').antonyms()



相对反义（Converses，两词表示两个事物之间的相互关系）

wn.lemma('husband.n.01.husband').antonyms()

wn.lemma('employer.n.01.employer').antonyms()



温馨提示：反义关系的检索指令与其他语义关系的检索指令不同：

其他语义关系的检索指令是：

wordnet.synset('词条名').语义关系函数()

而反义语义关系的检索指令是：

wordnet.lemma('词条名.词形').antonyms()

注意不要搞混了哦。

5. 计算两个词的语义相似度

基于同义词组构成的网络图，WordNet提供了一种计算两个词（也就是两个同义词组）之间语义相似度的方法。

输入：两个词形 输出：两个词形的语义相似度，取值0~1。1代表两个词形属于同一个同义词组，0代表两个词形之间没有任何语义相似度。

我们首先抽取五个同义词组：Right Whale（露脊鲸），Orca（逆戟鲸），Minke（小须鲸），Tortoise（乌龟）和Novel（小说）：



接下来，我们看看露脊鲸（Right Whale）所在的同义词组与其他四个同义词组所共享的最低上位同义词组都有哪些：



Right Whale（露脊鲸）与Minke（小须鲸）共享最低上义词Baleen Whale（须鲸），与Orca（逆戟鲸）共享最低上义词Whale（鲸），与Tortoise（乌龟）共享最低上义词Vertebrate（脊椎动物），与Novel（小说）共享最低上义词Entity（实体）。

从上边的检索结果可以看出，Minke（小须鲸），Orca（逆戟鲸），Tortoise（乌龟）和Novel（小说）与Right Whale（露脊鲸）之间的语义相似度依次递减。这可以由WordNet中提供的语义相似度计算公式验证：

注意最后一行中，Right Whale（露脊鲸）与自身的语义相似度为最大值1。

当然了，语义相似度的数值仅仅是基于WordNet中的网络图以及一套固定的计算方法得出的，不一定能准确反映现实世界中词汇之间的语义关系哦。

6. 语义关系可视化

依靠Python扩展包NetworkX与Matplotlib的强大功能，我们可以用图形表示WordNet的网络架构，包括表示同义词组的结点与表示语义关系的边。 利用如下代码，我们可以对同义词组Snyset('car.n.01')及其下义同义词组之间的关系作图：

# Natural Language Toolkit: code_networkx

import nltk

from nltk.corpus import wordnet as wn

import networkx as nx

import matplotlib

def traverse(graph, start, node):

    graph.depth[node.name] = node.shortest_path_distance(start)

    for child in node.hyponyms():

        graph.add_edge(node.name, child.name)

        traverse(graph, start, child)

def hyponym_graph(start):

    G = nx.Graph()

    G.depth = {}

    traverse(G, start, start)

    return G

def graph_draw(graph):

    nx.draw(graph,

         node_size = [50 * graph.degree(n) for n in graph],

         node_color = [graph.depth
for n in graph],

         with_labels = False)

    matplotlib.pyplot.show()

car=wn.synset('car.n.01')

graph=hyponym_graph(car)

graph_draw(graph)

作图结果如下图所示，中央最大的圆点代表同义词组Snyset('car.n.01')，连接在这个大圆点上的其他小圆点代表Snyset('car.n.01')的下义同义词组。

参考文献：

[1] B, Steven., K, Ewan., & L, Edward. 2009. Natural Language Processing with Python. Sebastopol: O’Reilly. 

 

[2] About WordNet（Princton University）

Retrieved April 10th, 2016
http://wordnet.princeton.edu/
[3] WordNet（Wikipedia）

Retrieved April 10th, 2016
https://en.wikipedia.org/wiki/WordNet