第6章隐马尔可夫模型.pdf

第6章 隐马尔可夫模型 北京市海淀区中关村东路95号 电话：+86-10-8254 4688 邮编：100190 邮件：cqzong@ NLP中概率图模型的演变 点 线 图 朴素贝叶斯 序列 HMMs 一般图 生成式有向图 在一定条件下 在一定条件下 序列 一般图 逻辑回归 线性链式CRFs 通用CRFs 宗成庆： 《自然语言理解》讲义，第6 章 2/88 6.1 马尔可夫模型 宗成庆： 《自然语言理解》讲义，第6 章 3/88 6.1 马尔可夫模型 马尔可夫(Andrei Andreyevich Markov) (1856.6.14 ～1922.7.20) 前苏联数学家。切比雪夫(1821年5 月16 日～1894年12月8 日) 的学生。 在概率论、数论、函数逼近论和微 分方程等方面卓有成就。他提出了 用数学分析方法研究自然过程的一 般图式—马尔可夫链，并开创了随 机过程(马尔可夫过程) 的研究。 宗成庆： 《自然语言理解》讲义，第6 章 4/88 6.1 马尔可夫模型 马尔可夫模型描述 存在一类重要的随机过程：如果一个系统有N 个 状态S , S ,…, S , 随着时间的推移，该系统从某一状 1 2 N 态转移到另一状态。如果用q 表示系统在时间t 的状 t 态变量，那么，t 时刻的状态取值为S (1j N) 的概率 j 取决于前t- 1 个时刻(1, 2, …, t-1) 的状态，该概率为： p(q  S | q  S , q  S , ) t j t 1 i t 2 k 宗成庆： 《自然语言理解》讲义，第6 章 5/88 6.1 马尔可夫模型 假设1： 如果在特定情况下，系统在时间t 的状态只与其 在时间t- 1 的状态相关，则该系统构成一个离散的一 阶马尔可夫链： p(q  S | q  S , q  S , )  p(q  S | q  S ) t j t 1 i t 2 k t j t 1 i … (6.1) 宗成庆： 《自然语言理解》讲义，第6 章 6/88 6.1 马尔可夫模型 假设2 ： 如果只考虑公式(6.1)独立于时间t 的随机过程， 即所谓的不动性假设，状态与时间无关，那么： p(q  S | q  S ) a