语言模型（一） 工具和使用简介

一、常用工具

1. Kenlm https://kheafield.com/code/kenlm/
C++版本，最大特点是速度快、占用内存少

2. Srilm http://www.speech.sri.com/projects/srilm/
SRI（Standford ResearchInstitute）开发，使用比较广泛，c++版本

3. IRSTLM http://sourceforge.net/projects/irstlm/
IRSTLM是意大利TrentoFBK-IRST实验室开发的语言模型训练工具包，其开发的目的是处理较大规模的训练数据

4. MITLM https://code.google.com/p/mitlm/
5. BerkeleyLM https://code.google.com/p/berkeleylm/
Java版本，速度和kenlm差不多，内存比srilm小

参考：
http://52opencourse.com/111/斯坦福大学自然语言处理第四课-语言模型（language-modeling）
http://www.52nlp.cn/language-model-training-tools-srilm-details

二、Srilm使用

1. 构建语言模型

【ngram-count】：用于统计ngram的个数和生成最终的语言模型

【ngram-merge】：用于merge多个ngram count文件，适用于内存不足以容下所有语料的情况

2. 语言模型得分

【ngram】：用于语言模型打分、计算困惑度（perplexity）、产生句子和模型插值

3. 语言模型插值

【ngram】：用于语言模型打分、计算困惑度（perplexity）、产生句子和模型插值

4. 语言模型剪枝

三、Srilm使用的文件类型

1. Ngram

最常用的arpa文件，格式如下：

\data\

ngram1=n1

ngram2=n2

...

ngramN=nN

\1-grams:

p w [bow]

...

\2-grams:

p w1 w2 [bow]

...

\N-grams:

p w1 ... wN

...

\end\

2. Classes

基于class的语言模型的格式，如下：

class [p] word1 word2 ...

其中class是语言模型中使用的class name，p是该条class定义的概率，word是该class对应的具体word

3. Psfg

Probabilistic finite-state grammars是一种被SRIDecipher（SRI的解码器）使用的有限状态机。

name name

nodes Nw1 ... wN

initial i

final f

transitionsT

n1 n2 p

...

4. Nbest

用于nbest的重打分