关于新词识别的两个想法.pptVIP

2001.7.9 关于新词识别的两个想法 张化瑞 北京大学 计算语言学研究所 报告内容 从验证上 需要标好新词的语料，而实际上要处理的新词总是未知的，所以用人工标好的新词和原有的老词作验证效果是基本一样的。 从结构上 要进一步分析词的构成，到语素一级。 以旧知新 语法词典 先用7万词的词典进行标注 以5万词为已知词 以增加的2万词为未知词 将识别的结果与原来标注的结果进行比较 从部分看整体 成词语素 不成词语素 成词倾向 够词能力 前20个词尾字(按词条数排) 980 子 451 人 391 性 332 机 323 学 321 头 274 器 265 心 259 气 241 力 227 物 226 面 220 员 218 法 213 儿 209 色 205 生 203 地 202 车 202 会 新词与新类型 已有词缀：旧类型 比喻义：往往难以判断 以下均以名词为例 示例 白马是马 黑马非马 示例 狼狗是狗 熊猫非猫 示例 天鹅非鹅 混凝土非土 判断依据 如果一个词的某个右子串是该词的上位概念，则该词的频度同时赋给该右子串。 构成上是子串 概念上是上位 如：安全系数 is_one_kind_of 系数 北京大学 is_one_case_of 大学 判断依据 构成上是子串 概念上非上位 如：反电子 电子 非生物 生物 亚热带 热带 (亚热带 包含于 温带) 如果仅从构成上看，容易视为一类 判断依据 如果一个词的某个右子串是该词的上位概念，去掉该右子串后剩下的左子串仍是一个概念，且该词区别于该右子串所代表的概念的内涵能够由该左子串所代表的概念承载，则该词的频度同时赋给该左子串。 构成上合起来是完整的 内涵上合起来是完整的 如：安全系数 is_one_kind_of 系数 concerning 安全 北京大学 (北京不具有区别性) 清华大学 清华 判断依据 用W表示词语(字串)，C表示概念(内涵)，A,B为其两个构成部分.如果 W = WA + WB C = CA + CB 那么W是一个短语，可以将其频度传递给A和B. 如果 C =#= CA + CB 但 CB是C的上位 那么W是一个类属词，可以将其频度传递给B. 判断依据 如果 C =#= CA + CB 且 CB不是C的上位 那么W是一个终极词，不能将其频度继续向下传递. 三个层次的北京 北京政府 中国 北京地区 北京 北京大学 北大 * * * *