10第九章 隐马尔可夫模型(HMM) 语音信号处理 课件.pptVIP

隐马尔科夫模型和词性标注 大纲 隐马尔科夫模型 隐马尔科夫模型概述 任务1：计算观察序列的概率 任务2：计算能够解释观察序列的最大可能的状态序列 任务3：根据观察序列寻找最佳参数模型 词性标注 隐马尔科夫模型概述 马尔科夫链 状态序列: X1, X2, X3, … 常常是“时序”的 从Xt-1到Xt的转换只依赖于Xt-1 转移概率Transition Probabilities 假设一个状态Xt有N个可能的值 Xt=s1, Xt=s2,….., Xt=sN. 转移概率的数量为：N2 P(Xt=si|Xt-1=sj), 1≤ i, j ≤N 转移概率可以表示为N×N的矩阵或者有向图 MM Bigram MM(一阶MM) MM Trigram MM(二阶MM) 有限状态自动机 状态：输入输出字母表中的符号 弧：状态的转移 仍然是VMM (Visible MM) HMM HMM，从状态产生输出 HMM HMM，不同状态可能产生相同输出 HMM HMM，从弧产生输出 HMM HMM，输出带有概率 HMM HMM，两个状态间有多条弧，具有不同的概率 隐马尔可夫模型Hidden Markov Model 估算隐藏于表面事件背后的事件的概率 观察到一个人每天带雨伞的情况，反过来推测天气情况 Hidden Markov Model 任务1：计算观察序列的概率 计算观察序列的概率 前提：HMM模型的参数已经训练完毕 想知道：根据该模型输出某一个观察序列的概率是多少 应用：基于类的语言模型，将词进行归类，变计算词与词之间的转移概率为类与类之间的转移概率，由于类的数量比词少得多，因此一定程度避免了数据稀疏问题 Trellis or Lattice(栅格) 发射概率为1的情况 Y=“toe” P(Y)=0.6×0.88×1+0.4×0.1×1=0.568 算法描述 从初始状态开始扩展 在时间点t扩展得到的状态必须能够产生与观察序列在t时刻相同的输出 比如在t=1时，观察序列输出‘t’，因此只有状态A和C得到了扩展 在t+1时刻，只能对在t时刻保留下来的状态节点进行扩展 比如在t=2时，只能对t=1时刻的A和C两个状态进行扩展 每条路径上的概率做累乘，不同路径的概率做累加 直到观察序列全部考察完毕，算法结束 发射概率不为1的情况 0.236608就是在上述模型下“toe”出现的概率 Trigram的情况 以Bigram为状态 基于类的Trigram模型 N-gram class LM p(wi|wi-2,wi-1) ?p(wi|ci)p(ci|ci-2,ci-1) C:Consonant(辅音)，V:Vowel(元音) Class Trigram的Trellis 输出Y=“toy” 重叠(overlapping)的Class Trigram “r”有时是元音，有时是辅音，因此p(r|C)和p(r|V)都不为零 重叠的类Trigram的Trellis 讨论 我们既可以从左向右计算，也可以从右向左计算，甚至可以从中间向两头计算 Trellis的计算对于Forward-Backward（也称为Baum-Welch)参数估计很有用 任务2：计算能够解释观察序列的最大可能的状态序列 Viterbi算法 用于有哪些信誉好的足球投注网站能够生成观察序列的最大概率的状态序列 Sbest=argmaxSP(S|Y) =argmaxSP(S,Y)/P(Y) =argmaxS∏i=1…kp(yi|si,si-1)p(si|si-1) Viterbi能够找到最佳解，其思想精髓在于将全局最佳解的计算过程分解为阶段最佳解的计算 示意 从D2返回Stage 1的最佳状态为C1 因为p(A1-D2)=0.6?0.5=0.3 而p(C1-D2)=0.4?0.8=0.32 尽管有哪些信誉好的足球投注网站还没有完全结束，但是D2已经找到了最佳返回节点 Viterbi示例 argmaxXYZP(XYZ|rry) Viterbi计算 Viterbi算法 三重循环 第一重：遍历每一个观察值 第二重：遍历当前观察值所对应的每一个状态 第三重：遍历能够到达当前观察值当前状态的上一时刻的每一个状态 计算 假设上一时刻为t，t时刻的的状态为i，t+1时刻的状态为j，t+1时刻的观察值为k，则计算： ?j(t+1)=max1?i?N?i(t)aijbijk ?j(t+1)=argmax1?i?N?i(t)aijbijk t+1时刻状态j的返回指针指向t时刻的状态?j(t+1) 输出 三重循环都结束后，在最后时刻找到?值最大的状态，并从该状态开始，根据返回指针查找各时刻的处于最佳路径上的状态，并反序输出。 N-best计算 保留n个最佳结果，而不是1个 最优解：VCV；次优解：CCV N-Best Paths 以分词