统计语言模型(下)
2017-05-05 23:01
190 查看
P(wi|wi-1)就是这两个数的比值,再考虑到上面的两个概率有相同的分母(语料库大小),可以约掉,所以P(wi|wi-1)=(wi-1,wi)/(wi-1)。
现在你是否感受到数学的美妙?它把一些复杂的问题变得如此简单。似乎难以相信,这么简单的数学模型能解决复杂的语音识别、机器翻译等问题,而很复杂的文法规则和人工智能却做不到。其实很多语音学家也质疑过这种方法的有效性,但事实证明,统计语言模型比任何已知的借住规则的方法更有效。
统计语言模型的延伸,包括N-1阶马尔可夫假设,对应的语音模型称为N元模型。事实上实际应用中最多的就是三元模型。因为N元模型的复杂度几乎是N的指数函数,当N从1到2,再从2到3时,模型效果显著上升,而从3到4时,效果就不是很明显了,资源的耗费却增加得非常快。Google的罗塞塔翻译系统和语音搜索系统,使用的四元模型,该模型存储于500台以上的服务器中。还有模型的训练、零概率问题和平滑问题,大家可以自己去了解一下。小结:统计语言模型在形式上很简单,也很容易理解,但是里面的学问很深,一个专家可以在这方面研究很多年,比如延伸里的这些东西。
现在你是否感受到数学的美妙?它把一些复杂的问题变得如此简单。似乎难以相信,这么简单的数学模型能解决复杂的语音识别、机器翻译等问题,而很复杂的文法规则和人工智能却做不到。其实很多语音学家也质疑过这种方法的有效性,但事实证明,统计语言模型比任何已知的借住规则的方法更有效。
统计语言模型的延伸,包括N-1阶马尔可夫假设,对应的语音模型称为N元模型。事实上实际应用中最多的就是三元模型。因为N元模型的复杂度几乎是N的指数函数,当N从1到2,再从2到3时,模型效果显著上升,而从3到4时,效果就不是很明显了,资源的耗费却增加得非常快。Google的罗塞塔翻译系统和语音搜索系统,使用的四元模型,该模型存储于500台以上的服务器中。还有模型的训练、零概率问题和平滑问题,大家可以自己去了解一下。小结:统计语言模型在形式上很简单,也很容易理解,但是里面的学问很深,一个专家可以在这方面研究很多年,比如延伸里的这些东西。
相关文章推荐
- 数学之美笔录(1):统计语言模型
- 数学之美 系列一 -- 统计语言模型
- 数学之美 系列一 -- 统计语言模型
- 数学之美系列一:统计语言模型
- 数学之美系列一:统计语言模型
- 数学之美 第3章 统计语言模型
- 统计语言模型学习笔记
- 初探统计语言模型
- 【数学之美系列一】统计语言模型
- 数学之美——统计语言模型
- 基于神经网络的统计语言模型-----第一章 引言
- 统计语言模型
- Statistical language model 统计语言模型
- 中文分词(统计语言模型)
- 数学之美 系列一 统计语言模型
- 统计语言模型(SLM)
- 数学之美系列一 -- 统计语言模型
- 使用KenLM训练统计语言模型并使用模型(based on Linux14.04)
- 数学之美 系列一 -- 统计语言模型
- 数学之美 系列一 -- 统计语言模型