词义消歧 北京邮电大学计算机学院.pptVIP

基于义类词典的WSD的过程（第二步） * 词义消歧 主讲人：谭咏梅 北京邮电大学计算机学院 * 提纲 词的多义现象 词义消歧（WSD） 如何确定一个词的义项 如何找到判定词义的指示信息 如何在具体语境中判定词义 词义消歧方法简介 小结 * 词的多义现象 打酱油 打电话 打毛衣 打手势 打哈欠 …… 修门 进门 门上有把锁 拍子坏了 打拍子 生意很清淡 口味比较清淡 我就来 我就不来 我就记得一句话 开车 吃你的车 bank table title book eye fly … 所谓词的多义，就是一个“词形式”可以对应多种不同的变换形式 （比如一个词对应着多个不同的翻译） * 常用词（字）的多义情况 * 同义词词林 《同义词词林》，梅家驹等，1983，上海辞书出版社 * 多义词的分类 甲类多义词：不同词性——不同意思 制服 编辑 建议 突出 秘密 特别 …… 乙类多义词：相同词性——不同义类——不同意思 便衣 单位 保管 …… 丙类多义词：相同词性/义类——不同特征——不同意思 表 材料 兄弟 大家 ……. * 词义排歧(Word Sense Disambiguation) WSD需要解决的三个问题： 如何判断一个词是不是多义词，如何表示一个多义词的不同意思 对每个需要进行义项标注处理的多义词，预先得有关于它的各个不同义项的清晰的区分标准 对出现在具体语境中的每个多义词，给它确定一个合适的义项 解决这两个问 题是提供WSD 所需的基础资 源 * 如何确定一个“word”的“sense”？ 看电影——看电视——看书——看病 开飞机——开汽车——开门——开发票 炒菜——炒外汇——炒绯闻……? 你在搞什么飞机？ 你这个人真是很机车耶 把多余的粮食卖个国家——把多余的字句删除？ * 在言语中如何判定词义 You shall know a word by the company it keeps （观其伴，知其意） ——J.R.Firth, 1957 * 各种WSD方法简介 基于Bayes判别的方法 基于互信息的方法 基于词典释义的方法 基于义类词典的方法 基于实例相似度比较的方法 基于搭配的方法 * 基于Bayesian Discrimination的方法 Gale et al., 1992，试验了6个多义词，准确率90% 标注好词义的语料库（training corpus） 从标注语料库训练“语境”与词义之间的依赖关系，得到“词义知识库” 对于一个输入句子中的多义词，根据“词义知识库”中的知识，计算它在当前“语境”下，取哪一个义项的可能性最高，就将该义项判定为这个多义词在当前语境下的意思。 * Bayes decision rule * Bayes decision rule（续） * 获取词义知识算法（Training） * 词义排歧算法（Disambiguation） * 词义知识库示例 * 基于Bayes判别的WSD示例 * 基于互信息的WSD方法 * Flip-flop算法 * 基于互信息方法示意图 * 基于互信息的WSD方法示例 * 基于互信息的WSD方法示例（续） * Bayes方法与互信息方法的比较 相同： 都需要事先进行义项标注的语料库进行训练 不同 对“语境”的理解不同 Bayes方法：大语境——a bag of words 互信息方法：小语境——only one informative feature 对“训练语料库”的要求不同 Bayes方法：不需要标注结构信息 互信息方法：根据训练目标，需要标注更多信息 * 基于词典释义的WSD方法 Lesk，1986，准确率50%-70%之间 词典释义：cone A mass of ovule-bearing or pollen-bearing scales or bracts in trees of the pine family or in cycads that are arranged usually on a somewhat elongated axis. （松果） Something that resembles a cone in shape: as … a crisp cone-shaped wafer for holding ice cream. （蛋卷冰激淋） 语境消歧 语境中出现tree——cone的意思将判定为“松果” 语境中出现ice cream——cone的意思将判定为“冰激淋” * 基于词典释义的WSD方法的算法描述 * 基于词典释义的WSD方法示例 * 基于词典释义的WSD方法小结 用语料库资源进行词义排歧，是利用多义词在实际使用中的实