HiddenMarkovModelanditsapplicationinPos.pptVIP

词性标注与隐马尔可夫模型 概要 词性标注 HMM模型 HMM模型用于词性标注 相关问题讨论 词性标注 定义及任务描述 词性标注的问题 － 标注歧义 （兼类词） 词性标注之重要性 词性标注方法 词性标注任务描述 什么叫词性？ 词性又称词类，是指词的语法分类，或者说是按照其各自的语法功能的不同而分出来的类别 划分词类的依据 词的形态、词的语法意义、词的语法功能 汉语的词类划分 词性标注：给某种语言的词标注上其所属的词类 The lead paint is unsafe. The/Det lead/N paint/N is/V unsafe/Adj. 他有较强的领导才能。 他/代词 有/动词 较/副词 强/形容词 的/助词 领导/名词 才能/名词。 词性标注问题 － 词性标注歧义（兼类词） 一个词具有两个或者两个以上的词性 英文的Brown语料库中，10.4%的词是兼类词 The back door On my back Promise to back the bill 汉语兼类词 把门锁上， 买了一把锁 他研究与自然语言处理相关的研究工作 汉语词类确定的特殊难点 对兼类词消歧－ 词性标注的任务 词性标注的应用及重要性 机器翻译 Text – Speech 词法句法规则 － 词性组合 句法分析的预处理 统计自然语言处理的基础 词性标注常见方法 规则方法： 词典提供候选词性 人工整理标注规则 统计方法 寻找概率最大的标注序列 如何建立统计模型 P( tag, word ) HMM方法（Garside et al. 1987,Church 1988） 决策树方法（Schmid 1994） 最大墒方法（Ratnaparkhi 1996） 基于错误驱动的方法 错误驱动学习规则 利用规则重新标注词性 词性标注的性能指标 性能指标：标注准确率 当前方法正确率可以达到97% 正确率基线(Baseline)可以达到90% 基线的做法： 给每个词标上它最常见的词性 所有的未登录词标上名词词性 决定一个词词性的因素 从语言学角度：由词的用法以及在句中的语法功能决定 统计学角度： 和上下文的词性（前后词的标注）相关 和上下文单词（前后词）相关 隐马尔可夫模型  － 概要 背景 马尔可夫模型 隐马尔可夫模型 模型评估 解码 模型参数学习 背景 俄国统计学家Andrei Markov（1856-1922）提出 Studied temporal probability models Real-world Observed output (signals) Signal Models – stimulate the signals source and learn as much as possible through simulations 马尔可夫模型 举例说明马尔可夫模型 马尔可夫假设 马尔可夫模型示例 － 天气预报 状态：雨、多云、晴 给定不同天气之间的转换概率，预测未来数天的天气 通过如右图所示的矩阵描述状态之间的转移概率 马尔可夫模型示例 － 天气预报 通过有限状态自动机描述状态转移概率 预测 － 计算未来天气 （序列的概率） 晴-晴-雨-雨-晴-多云-晴，未来七天天气是这种情况的概率 马尔可夫假设 假设1 有限视野 P(Ot+1=Sk|O1,…Ot) = P(Ot+1=Sk|Ot-(n-1),…Ot) (n-1)th 阶马尔可夫链 → n 元语言模型 假设2 时间独立性 P(Ot+1=Sk|Ot) = P(O2=Sk|O1) 隐马尔可夫模型 － Hidden Markov Model (HMM) 介绍 定义 隐马模型应用于词性标注 HMM模型的简单介绍 “隐”在何处？ 状态（序列）是不可见的（隐藏的） HMM是一阶马尔可夫模型的扩展 观察值与状态之间存在概率关系 隐藏的状态序列满足一阶马尔可夫模型 相对于markov模型的又一假设：输出独立性 HMM的定义 定义：一个HMM模型 λ=(A,B,π) S是状态集， S=(S1,S2,…SN) V是观察集， V=(V1,V2,…VM) 状态序列Q = q1q2…qT （隐藏） ，观察序列O=o1o2…oT （可见） A是状态转移概率分布A=[aij], aij=P(qt=sj|qt-1=si) (满足假设1.) B是观察值生成概率分布B=[bj(vk)], bj(vk)=P(ot=vk|qt=si) (满足假设2、3) 初始观察值概率分布 Π= [πi], πi =P(q1=si) 词性标注的HMM模型定义 HMM：S V A B π S：预先定义的词性标注集 V：文本中的词汇