什么是N-gram语言模型
2018-01-25 16:54
225 查看
N-gram统计语言模型分为:
1.统计语言模型 自然语言从它产生开始,逐渐演变成一种上下文相关的信息表达和传递的方式,因此让计算机处理自然语言,一个基本的问题就是为自然语言这种上下文相关特性建立数学模型。这个数学模型就是自然语言处理中常说的统计语言模型,它是今天所有自然语言处理的基础,并且广泛应用与机器翻译、语音识别、印刷体和手写体识别、拼写纠错、汉字输入和文献查询。
2.N-Gram N-Gram是大词汇连续语音识别中常用的一种语言模型,对中文而言,我们称之为汉语语言模型(CLM, Chinese Language Model)。汉语语言模型利用上下文中相邻词间的搭配信息,在需要把连续无空格的拼音、笔划,或代表字母或笔划的数字,转换成汉字串(即句子)时,可以计算出具有最大概率的句子,从而实现到汉字的自动转换,无需用户手动选择,避开了许多汉字对应一个相同的拼音(或笔划串,或数字串)的重码问题。 搜狗拼音和微软拼音的主要思想就是N-gram模型的,不过在里面多加入了一些语言学规则而已。
相关文章推荐
- 语言模型(N-Gram)
- N-gram语言模型文本分类器
- NLP系列(5)_从朴素贝叶斯到N-gram语言模型
- SRILM--语言模型--N-Gram基本介绍
- 语言模型(N-Gram)
- 语言模型(N-Gram)
- 语言模型系列之N-Gram、NPLM及Word2vec
- ARPA的n-gram语言模型格式
- 语言统计模型 N-Gram
- N-Gram语言模型
- 关于统计语言模型N-gram的理解及sirlm的使用
- 从NB到N-gram语言模型
- 语言模型n-gram
- 语言模型(N-Gram)
- 语言模型(N-Gram)
- 语言模型(N-Gram)
- NLP系列(5)_从朴素贝叶斯到N-gram语言模型
- ARPA的n-gram语言模型格式
- NLP中的用N-gram语言模型做英语完型填空的环境搭建
- NLP系列(5)_从朴素贝叶斯到N-gram语言模型