自然语言理解-模式识别国家重点试验室.pdfVIP

自然语言理解 ( 7 ) 宗成庆 中科院自动化研究所 模式识别国家重点实验室 cqzong@ /English/cip/cqzong.htm No.95, Zhongguancun East Road Beijing 100080, China Tel. No.: +86-10-6255 4263 NLPR 第七章词性标注 7.1 概述 词性或称词类（Part-of-Speech, POS ）是词汇最重要的 特性，是连接词汇到句法的桥梁。 词性标注（POS tagging ）的主要任务是消除词性兼类 歧义。词性兼类在任何一种自然语言中都普遍存在。 例如，在英语中： 1) Time flies like an arrow. 2) I want you to web our annual report. 对Brown 语料库的统计，55 ％词次兼类。汉语中常用词兼 类现象严重，《现代汉语八百词》兼类占22.5 ％。 NLPR, CAS-IA 2004-4-28 2 NLPR 7.1 概述 汉语中的词性兼类现象： [赵铁军，2001] 1）形同音不同，如：“好（hao3 ，形容词）、好 （hao4 ，动词）” 2 ）同形、同音，但意义毫不相干，如：“会（会议， 名词）、会（能够、动词）” 3 ）具有典型意义的兼类词，如：“典型（名词或形容 词）” 4 ）上述情况的组合，如：“行（xing2 ，动词/形容词； hang2 ，名词/量词）” NLPR, CAS-IA 2004-4-28 3 NLPR 7.2 词性标注集的定义 标注集的确定原则： 不同语言的语法中，词性划分基本上已经约定俗成。 自然语言处理中对词性标记要求相对细致。 一般原则： 标准性：普遍使用和认可的分类标准和符号体系； 兼容性：与已建立的资源标记尽量一致，或可转换； 可扩展性：扩充或修改； NLPR, CAS-IA 2004-4-28 4 NLPR 7.2 词性标注集的定义 UPenn Treebank 的词性标注集确定原则： 可恢复性（recoverability ）：从标注语料能恢复原词汇 或者借助于句法信息能够区分不同的词类； 一致性（consistency ）：功能相同的词应该属于同一 类； 不明确性（indeterminacy ）：为了避免标注者在不明确 的条件下任意决定标注类型，允许标注者给出多个标记 （限于一些特殊情况）。 －[Marcus et al., 1993] NLPR, CAS-IA 2004-4-28