Language Modeling with N-grams (Speech and Language Processing)

语言模型

计算词序列（words sequences)概率的模型称为语言模型（LMs）,词序列(w1,w2,...,wn)的概率为：

P(w1n) = P(w1)p(w2|w1)P(w3|w1w2)...P(wn|w1n-1)

Bigram model

二元模型的前提是Markov假设（一个词的概率只依赖于其前面一个词），值为前一个词下的条件概率，不再是前面词序列下的条件概率。

P(wn|w1n-1) => P(wn|wn-1)

N-gram model

N元模型词概率设为前N-1个词下的条件概率

P(wn|w1n-1) => P(wn|wn-(N-1)n-1)

计算实例

计算下二元模型的词序列概率。

下图展示了一个语料库里各词出现次数



下图展示了二元词序列的出现次数及其各词概率



如(i want)词序列出现827次，i出现2533次，P(want|i) = 827/2533 = 0.33

log概率

通常概率计算转换为log概率，避免概率相乘过小溢出。存储的时候只记录log和，需要原始概率时再进行转换。

P1P2P3P4=e(lnP1 + lnP2 + lnP3 + lnP4)

概率大小就存储为lnP1 + lnP2 + lnP3 + lnP4

参考

http://web.stanford.edu/~jurafsky/slp3/