NLP学习记录——句法分析

句法分析

一般而言，句法分析分为两个主要的方向：

一是句法结构分析，或称成分句法分析、短语句法分析，亦即context-free grammers(CFGs)，将语句视为嵌套的短语组合：

Basic unit: words

the, cat, cuddly, by, door

det, N, Adj, P, N

Words combine into phrases

the cuddly cat, by the door

NP -> Det Adj N,PP -> P NP

Phrases can combine into bigger phrases

the cuddly cat by the door

NP -> NP PP

使用语法树表示更为方便：



一是依存分析，研究单词之间的依赖关系：



同样，依存关系也适于用树来表达：



首先来看看CFGs。

CFGs

CFGs的定义包括四个集合：

N:有限的非终端语法标识的集合，亦即语法树上非叶子结点的集合。

S：起始标识

E:有限的终端标识集合，也是语句中所有单词的集合，位于句法树的叶子结点。但是要注意，句法树的叶子节点允许为空。

R：构建句法树的有限个规则的集合，表述了句法树的构建过程。

即G=(N,E,S,R)

例：



基于以上集合可构建句法树：



但是，构建过程也可能会有歧义：



left-most derivation是句法树构建过程中的一串序列，例：

s1=S

s2=NP VP.(基于规则s->NP VP)

s3=DT NN VP(nP->DT NN)

s4=the NN VP(DT->the)

s5=the man VP(NN->man)

s6=the man Vi(VP->Vi)

s7=the man sleeps(vi->sleeps)

上述s1,s2…s7即为以下句法树的left-most derivation：



(left-most )derivation实际上是CFGs包含的某一种特定句法树的构造过程，某CFGs有多少种可能的句法树，就有多少种derivation。

PCFGs

Probabilistic Context-Free Grammars ，深度学习爆发前性能最优秀的CFGs分析方法。

设语句s的某个CFGs为G，定义T为G中包含的所有可能的句法树（也可以说是left-most derivations）的集合，T中某一种deviration定义为t，且定义yield(t)=s。

若|T|>1，则语句s是有歧义的，若|T|>0，则语句s是合乎语法的。

RCFGs的核心思路是求T上的概率分布，即求p(t)，其中：



所以，我们的语句分析器就有了一个合理的输出：



定义q(a->b)为R中规则a->b在对非终端a作延伸时的条件概率，即：



当然，q(a->b)>0。

若T中某个t包含n条规则，则有：



这样，上例对应的PCFGs为（q暂时是假设的）：



可以看到，从相同的语法标识出发的规则的概率和为1，每次选择规则时遵从一定的概率分布。

那么如何求得q呢？

假设我们的训练集包含句法树t1,t2…tm，其实也是m个devitations，m个规则串，定义训练集的RCFGs：

N为t1,t2…tm中出现过的所有非终端语法标识。

E为t1,t2…tm中所有的单词，即m个yield(t)语句中的单词的集合。

S为起始标识S。

R为t1,t2…tm中所有的规则a->b的集合。

依然利用频率估计：



count(a->b)为规则a->b出现的次数，count(a)为a出现的次数。

最后使用CKY算法做以下决策：



CKY算法是一种动态规划算法，设语句为s=x1,x2…xn，定义T(i,j,X)为基于词序列xi…xj的所有句法树，X∈N是树的根结点。定义：



且当T(i,j,X)为空时π(i, j, X) =0。

显然，



即为所求。

接下来利用递归思想求解。

起始状态：



找到一个不为0的π后开始递归拓展：



直到i=1,j=n。

以下为算法全貌：



目前这个PCFGs有两个主要的问题。

一是词法信息不敏感，单词的选取仅仅依赖最底层的句法标识，而不是跟整个句法树相关，这显然是不合理的。例如，统计显示，单词into直连PPs句法标识时继续向上连接VP的概率是连接NP概率的九倍，但是此模型并没有这种跨层的概率信息。

一是缺乏对结构偏好的敏感度。例如，对于”president of a company in Africa”，句法标识为PP的短语”in Africa”更倾向于修饰离他最近的NP”a company”，而不是远一些的”president”，这种结构偏好未在模型中体现。

针对第一个问题，提出了lexicalized PCFGs ，将非终端句法标识换成带单词的句法标识，即：



当然，句法标识上的单词并不是随便选择的，而是要选择规则的中心词，例如，”the lawyer”中的中心词显然是”lawyer”，在上例中，所有的中心词的句法标识都加上了横杠。

选择中心词的规则有很多，下面是一个从NP出发的中心词选择规则例子：



那么，现在可以给出lexicalized PCFGs的完整定义：

G=(N,E,R,S,q,y)

N:有限的非终端句法标识集合

E：有限的终端单词集合

S：起始标识

R：规则集合，此时规则有三种情况(X,Y1,Y2∈ N,h,m∈ E，h为中心词)：

1.X(h)->Y1(h)Y2(m)

2.X(h)->Y1(m)Y2(h)

3.X(h)->h

q(r)为规则r在确定的规则起点的条件下的概率。

y为X∈ N和h∈ E的联合概率分布，y(X,h)>0且



这里要考虑到，一但起始标识S处的单词确定了，整棵句法树上的单词也就确定了，所以，对于deviration为r1,r2…rN的句法树，其概率为：



其中LHS(r1)指r1的起点。

句法树的起点单词可看作为整个语句的中心词，代表着语句的某种语义或者特征，这也是句法分析的一个作用，即提取语句的信息。

接下来以规则S(examined) →NP(lawyer) VP(examined))为例说明q的计算。

q(S(examined)→NP(lawyer) VP(examined))

=p(r=s->NP VP,m=lawyer|X=S,h=examined)

=p(r=s->NP VP|X=S,h=examined)*p(m=lawyer|r=s->NP VP,X=S,h=examined)

对于前一项概率，有：



与语言模型中的平滑方法类似，所求概率利用



进行估计。

对于后一项概率，有：



同样。利用



进行估计。

同样使用CKY算法，定义π（i,j,h,X）为基于词序列xi…xj的，以X为根节点且xh为根节点的单词的条件下，概率最大的句法树。

那么，所求为：



以下为lexicalized PCFGs的算法全貌：



其中figure 8指：



目前出现了很多基于句法树构建神经网络的方法，可以有效利用句法生成单词之上的更高层次的语义向量，例如短语向量和语句向量。

transition-based dependency parser

接下来介绍一种目前最高效的依存分析方法——基于转移的依存分析。

首先定义一个栈σ和一个队列β，栈σ初始化后仅含[ROOT]标记，即依存关系树的根结点标记，队列β初始化为输入词序列。

然后定义一个集合A：表现依存关系的箭头，即依存弧的集合，初始为空。

以wi表示栈或队列中的某个单词，最后定义三种操作：



例：





这样就成功建立了依存关系树，那么核心问题就来到如何预测三种操作。

14年提出了一个非常简单高效的神经网络预测方法，模型如下：



原方法中，输入是栈顶的两个单词和他们的四个子结点单词，加上队列头部的一个单词，以此贪心地预测下一个操作。

不过，输入中每个单词的并不是单纯以词向量表示，还包括句法标记和已有的依存弧信息，均已向量化：