N语言模型(马尔科夫模型)介绍

一、马尔可夫链（语言模型方面）

假设一个长度为N的句子可以利用一串随机变量来表示，即x1, x2, …, xn，其中Xi ∈V。那么我们的语言模型是P(X1 = x1, X2 = x2,…,Xn = xn)。

显然，p(X1 = x1, X2 = x2, …, Xn = xn) = p(X1 = x1) * p(X2 = x2 | X1 = x1) * p(X3 = x3 | X1 = x1, X2 = x2) * … * p(Xn = xn | X1 = x1, X2 = x2, … Xn-1 = xn-1)。当n过大的时候，条件概率的复杂度会大大地增加，是否能够找到一个近似的方法方便求出这些条件概率呢？答案是肯定的，我们需要做一个假设，即每个单词这个随机变量只与前k个随机变量相关。

一阶马尔科夫模型（2元语法）

一阶马尔可夫链中我们认为每个单词这个随机变量只与前一个随机变量相关，因此上述表达式可以简化为p(X1 = x1, X2 = x2, …, Xn = xn) = p(X1 = x1) * p(X2 = x2 | X1 = x1) * p(X3 = x3 | X2 = x2) * … * p(Xn = xn | Xn-1 = xn-1) = p(X1 = x1) * ∏p(Xk = xk | Xk-1 = xk-1)

二阶马尔科夫模型

二阶马尔可夫链中我们认为每个单词这个随机变量只与前两个随机变量相关，因此上述表达式可以简化为p(X1 = x1, X2 = x2, …, Xn = xn) = p(X1 = x1) * p(X2 = x2 | X1 = x1) * p(X3 = x3 | X1 = x1, X2 = x2) * … * p(Xn = xn | Xn-2 = xn-2, Xn-1 = xn-1) = p(X1 = x1) * p(X2 = x2 | X1 = x1) * ∏p(Xk = xk | Xk-2 = xk-2, Xk-1 = xk-1)