语音信号处理第五章.docVIP

第五章 隐马尔可夫模型 隐马尔可夫模型？(HMM) 是Hidden Markov Model的缩写。它的理论基础是在1970年前后由Baum等人建立，随后由CMU的Baker和IBM的Jelinek等人将其应用于语音识别中。由于Bell实验室的Rabiner等人在20世纪80年代中期对HMM的介绍，才逐渐使HMM成为各国从事语音信号处理的研究人员所公认的语音识别方法。 如果有一个实际的物理过程，产生了一个可观察的序列，在此情况下，建立一个模型去描述该序列的特征非常重要。因为，如果能用一个模型描述该信号，则就有可能去识别它。 如果在分析的区间内，信号是平稳的，那么使用线性模型就可以了。比如，语音信号在短时（10~30ms）内被认为是平稳的，因而可以用一个全极点模型或极零点模型去模拟它，这就是线性预测模型。此外，短时谱、倒谱也都属于线性模型，人们关于这些模型技术的研究也已比较透彻。 如果在分析的区间内信号是时变的，那么上述线性模型的参数也就是时变的。此时，最简单的方法是：在极短的时间内用线性模型参数来表示；然后，再将许多线性模型在时间上串接起来。这就是马尔可夫链。但是，除非已经知道信号的时变规律，否则会存在一个问题：如何确定多长的时间模型就必须变换？显然，不可能准确地确定这个时长，或者不可能做到模型的变化与信号的变化同步，所以马尔可夫链虽然可以描述时变信号，但不是最佳和最有效的。 而隐马尔可夫模型既解决了用短时模型描述平稳段的信号，又解决了每个短时平稳段是如何转变到下一短时平稳段的问题。它利用概率及统计学理论成功地解决了如何辨识具有不同参数的短时平稳的信号段以及如何跟踪它们之间的转化等问题。由于语言的结构信息是多层次的，除了语音特性外，还涉及到音长、音调、能量等超音段信息以及语法、句法等高层次语言结构的信息。而HMM既可以描述瞬变的(随机过程)，又可以描述动态的(随机过程的转移)特性，所以它能够利用这些超音段和语言结构的信息。 隐马尔可夫模型的引入 1)马尔可夫链 马尔可夫链是马尔可夫随机过程的特殊情况，它是状态和时间参数都离散的马尔可夫过程，从数学上可以给出如下定义。 随机序列，在任一时刻，它可以处在状态，且它在时刻所处的状态为的概率，只与它在时刻的状态有关，而与时刻以前它所处的状态无关，即有： 式中， 则称为马尔可夫链，并且称为步转移概率，表示如下： 式中，是介于1和N之间的正整数，是正整数。当与无关时，称这个马尔可夫链为齐次马尔可夫链，此时： 以后无特殊声明，马尔可夫链就是指齐次马尔可夫链。当时，称为1步转移概率，简称为转移概率，记为。所有转移概率可以构成一个转移概率矩阵，即： 且有： 由于步转移概率可由转移概率得到，因此描述马尔可夫链的最重要的参数就是转移概率矩阵。但矩阵还决定不了初始分布，即由A求不出的概率，这样，完全描述马尔可夫链除了矩阵之外，还必须引进初始概率，其中： 显然有： 实际中，马尔可夫链的每一状态对应于一个可观测到的物理事件，比如天气预测中的雨、晴、雪等，这时可称为天气预报的马尔可夫模型。根据这个模型，可以计算出各种天气(状态)在某一时刻出现的概率。 HMM的基本思想？ HMM是在马尔可夫链的基础上发展起来的。由于实际问题比马尔可夫链模型所描述的更为复杂，观察到的事件并不是与状态一一对应的，而是通过一组概率分布相联系，这样的模型就称为HMM。HMM是一个输出符号序列的统计模型，具有N个状态，它按一定的周期从一个状态转移到另一个状态，每次转移时，输出一个符号。转移到哪一个状态，转移时输出什么符号，分别由状态转移概率和转移时的输出概率来决定。因为只能观测到输出符号序列，不能观测到状态转移序列(即模型输出符号序列时，是通过了哪些状态路径，不能知道)。因而称之为“隐”马尔可夫模型。 下图为一个简单的HMM例子，它具有三个状态，为起始状态，为终了状态。只能输出两个符号。每条弧上有一个状态转移概率以及该弧发生转移时输出符号的概率。从一个状态转移出去的概率和为1，每次转移时输出符号a和b的概率之和也为1.图中表示从状态转移到状态的概率，每个转移弧上输出概率矩阵中a和b两个符号对应的数字，分别表示了该弧发生转移时该符号的输出概率值。 设从出发到截止，输出的符号序列是，求其输出概率。 因为从到，且输出，可能的路径只有,，。每一种路径输出aab的概率分别为： 因为是隐HMM模型，所以状态序列不可知，计算概率时把每一种可能的概率相加作为总的概率，所以该HMM输出aab的总概率为。 练习： 写出其状态转移矩阵A： 下面再看一个著名的说明HMM概念的球和缸(ball and urn)的实验,，如下图所示。 %设有个缸，每个缸中装有很多彩色的球，球的颜色由一组概率分布描述。实验是这样进行的：根据某个初始概率分布，随机地选择