使用隐马尔科夫模型(HMM)进行语音识别

在实验室待了一段时间了,在实验室的报告及小组会议中,深刻的体会到了HMM算法 ,SVM等的重要性.

这几天翻译了一篇使用隐马尔科夫模型(HMM)进行语音识别的论文的部分.

这篇论文是通过google的学术搜索搜到的，通过在互联网上的查找，发现这篇论文引用率很高。（排在google的第一位），并且没发现对其的汉语翻译。或许这篇是对该文的第一篇汉语翻译。原文一共有25页，由于时间的原因，只翻译其中部分内容。并对翻译较多的部分贴上原文对照。原文内容见网址： http://www.jstor.org/view/00401706/ap040131/04a00020/0 [align=center]使用隐马尔科夫进行语音识别[/align]
[align=center]作者：B.H.Juang，L.R.Rabiner[/align]
[align=center]语言语音研究所，Bell实验室[/align]
[align=center]Murray Hill,NJ 07974[/align]
摘要：
在近几年发表的论文和大型语言语音会议上中，隐马尔科夫定律已经成为语音识别研究的主导方法。这个方法之所以如此流行就在于其固有的统计框架：从有限语音训练集数据中训练出模型近似参数的简单易行；模型可根据特殊的词汇、声音等改变认知系统的大小、种类或模型的架构的灵活多变；实现整个认知系统的简单方便。在这篇解释性的文章中，我们将讲解应用在语音识别中的非常重要的统计方法，并讨论一系列尚未解决的原理性的和实际性的问题，因为他们很重要并对不同系统实现的性能有很大影响。
关键词：
Baum-Welch算法，Incomplete data problem ,Maximum a posteriori decoding;极大似然度

机器语音识别已经达到了可以投入到实际使用的水平了。大量的语音识别系统已经应用在众多应用领域如语音拨号、语音应答、语音查询股价、语音报价等。导致这些有用的技术能够应用于实际是因为最近技术的进步使得语音认知系统能辨别不同的说话者并达到了一定量的认知词汇。其中的一项进步就是统计方法的使用，马尔科夫模型就是其中一个很有趣的方法。
使用HMM来进行语音识别在过去的一段时间内很流行。虽然报告过的大量基于HMM的语音认知系统不易在此深入地讨论，列出其中最重要的部分和这些系统的成功之处仍然是值得的。其中包括在卡内基梅隆大学早期进行的Dragon System的工作，IBM公司在语音系统方面进行的长期的工作，在Bell实验室的工作，MIT林肯实验室的工作，Philips在使用HMM进行的整词识别的工作，DARPA资源管理任务，及其它在该相关领域的众多的工作。HMM的广泛流行可以归功于它简单的算法结构和它相对于其它语音识别方法的清晰高效性。
性能，特别是精度，是评价一个语音认知系统实际价值的关键因素。语音识别任务经常根据它的需求，如是处理特定的还是非特定说话者，处理单个词汇的输入还是连续的一个句子的输入，来进行分类。如今，该技术能够轻松达到对非特定说话者的精确识别，当识别由非特定说话者说出的连续数字字串时，错误率仅有2-3%.更进一步，但在非特定说话者以特定的语法限制说出连续1000个词时，一些使用HMM的系统证实可以达到96%的识准率。这些结果说明了自动语音识别系统在指定的应用中的有用性和可用性。
虽然隐马尔科夫模型显著地改善了当前语音识别系统的性能。完全流利的、非特定说话者的语音识别仍是一个普遍存在并等待着解决的问题。例如，没有一个系统能够识别没有限制（话题）的对话语音，也没有一个好的方法使用借助于有限语料库的统计方法去推断语言的结构。这篇解释性的文章的目的是提供HMM的原理的一个概述，讨论统计方法的作用，并指出一系列值得注意和理解的原理性和实践性问题，以便于推动语音识别这一领域的发展。

1．语音的度量和建模
语音是不稳定的信号量。当我们说话时，我们的发音器官（嘴唇、下颚、舌头，如图1所示）调节空气压力并影响气流产生一系列的声音。虽然任何一个声音的范围会是在几千赫兹的范围内，我们的关节配置（声道形状，舌头移动等）经常不能忍受每秒超过10次的动态变化。语音建模包括两个方面：（1）以10毫秒采样分析不同声音的短时间的范围属性，（2）根据关节配置的不同，以100毫秒采样去分析长时间声音的变化特征。

2.隐马尔科夫模型统计方法
在HMM方法发展的过程中，如下问题显得特别有意思。首先，给出一个观察序列O和一个模型λ,我们怎么样有效的度量模型λ产生观察序列O的概率,即Pr(O|λ)?第二，给出观察序列O,反过来我们怎么解决估算模型λ中的参数？虽然（8）中的概率不完全依赖于q,(译者注：(8)是在论文前出现的一个公式)，关于导致观察序列O的最可能的状态序列q的信息在很多的应用中都是需要的。第三个问题就是怎么有效地从观察序列O中推出最有可能的状态序列q.通常我们将这三个问题称为（1）评估问题（2）估计问题（3）解释问题。
在下面的段落中，我们将描述几个对这三个问题通用的解决方法。
2．1 评估问题
在评估问题中主要关注的是计算的效率。如果没有复杂度约束，可以直接简单的直接计算出Pr(O|λ).在公式（8）中，一共有个可能的q序列。总共的计算需要2*T*个操作。计算公式（8）同时没有指数级增长的计算量，是HMM技术实现的第一个挑战。
幸运的是，使用著名的前向-后向算法，这个昂贵的计算开销可以轻松的减轻。

2．2 估计问题
给出一个观察序列（或一个序列的集合）O.估计问题包括找到合适的模型参数使模型最可能产生给定的序列。在语音识别中，这经常被称为“训练”。我们用来获取模型参数的给定序列，被成为训练序列，即使这儿的准则是统计的。

2．3 解释问题
正如前面所说的，我们经常对找到产生观察序列O极大似然度的状态序列感兴趣。
虽然HMM的概率度量定义中没有涉及到状态序列，在很多的应用场合中仍然需要知道极大似然度的状态序列。举个例来说，如果我们使用一个词汇模型的状态来代表该词汇中的特定的声音，就有必要知道语音片段和词的声音之间的关系，因为单独的语音片段为语音识别提供了有用信息。

2．4 使用HMM进行语音识别
HMM在语音识别中的应用和其他传统的模式匹配方法差不多。成功的使用HMM算法包括一下步骤：
1．定义一个用来建模的L声音类的集合。例如音素或词汇，定义声音类V={v1,v2,..,v3};
2. 对于每一个类，积累一定量的已知的标记语音集合。
3．在训练集合的基础上，解决估计问题，为每个类Vi获取一个最好的模型λi.
4. 在认识的过程中，对每个未知观察序列O估计Pr(O|λi)(i=1,2,…,L)),并为每个类Vi确定产生O的语音.其满足：
Pr(O|λi) = Pr(O|λi)
本文将不详细地描述如何实现一个HMM识别器。感兴趣的读者可以阅读Jelinek,Bahl,Mercer(1975)及Levinson,Rabiner,Sondhi(1983)的文章。

3．使用隐马尔科夫模型进行语音识别的优点
HMM方法的优点体现在两个大的方面：（1）它的数学框架和（2）它的实现结构。在数学框架方面，我们讨论问题的连续统计方法学和它为相关问题提供的直接的解决方案。
在实现结构方面，我们讨论它在处理不同的、复杂的语音认知任务的灵活性和实现的简单性，这些都是在实际工程领域中需要考虑的关键问题。
3．1 HMM方法学的连续统计框架
3．2 HMM的训练算法
3．3 模型灵活性

4．进一步考虑隐马尔科夫定理的问题
5．总结
在这篇文章中，我们复习了HMM的统计学方法，展示了这个方法的统计学框架及由其带来的灵活性和通用性，特别是在语音识别方面，以及其实现的简单性，使其在工程实现方面显出优势。我们还指出了在一般的HMM方法中值得注意的方面，希望有人能在这些方面取得进步，这些进步将会大大提高性能。这些领域包括建模标准，特别是最小分类错误，将新的特征和之前的语言学知识的融合，对状态的建模和其在语音识别领域中的应用。根据我们现在的理解，HMM系统识别非特定说话者在一定量词汇量的语音识别率已经高达95%。随着技术的发展，不难预料到基于HMM模型的语音识别系统将能应用到我们的日常生活中去。