构建《信息处理用现代汉语分词词表》的思路与体会孙茂松.pptVIP

1. 驱动 1. 驱动 1. 驱动 1. 驱动 1. 驱动 1. 驱动 1. 驱动 1. 驱动 1. 驱动 2. “从宽”的理据 2. “从宽”的理据 3. 词表的研制 3. 词表的研制 3. 词表的研制 3. 词表的研制 3. 词表的研制 3. 词表的研制 3. 词表的研制 3. 词表的研制 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 4. 相关的几个深层次问题 * * 构建《信息处理用 现代汉语分词词表》的思路与体会 孙茂松 2005年5月17日 于北京大学计算语言学研研究所 国家标准:《信息处理用现代汉语分词规范》 结合紧密，使用稳定（频繁） 复合词： 主要有四种情形： 5.1.1.1 二字的名词或结合紧密的二字名词词组, 一律为分词单位。合例: 象牙 分例: 兔 牙 5.2.4 动宾结构的词或结合紧密、使用稳定的二字动宾词组, 不予切分。结合不紧密或有众多与之相同结构词组的动宾结构一律切分。合例: 吃饭 分例: 吃 鱼 5.2.5 动补结构的二字词或结合紧密、使用稳定的二字动补词组, 不予切分。合例: 毁坏 分例: 打 坏 5.2.6 偏正结构的(动)词, 以及结合紧密、使用稳定的偏正结构的(动词)词组, 不予切分。否则应予切分。合例: 瞎说 分例: 重 说 附加词 如后缀“性”可衍生出一系列成分: 组1: 积极性 创造性 历史性 可能性 针对性 自觉性 建设性 代表性 实质性 经常性 … 组2: 溶血性 热塑性 趋光性 亲和性 多变性 松散性 脂溢性 热敏性 亲油性 迁移性 … 后果： （1）应用：例如 输入法，ontology （2）语料库标注不一致: 软伤 （1）定中结构 （1a）名词+名词 【车门】（合/总分合：93.3%）【雨水】（合/总分合：60.0%） 【酒瓶】（合/总分合：50.0%）【烟厂】（合/总分合：45.6%） 【国防部】（合/总分合：87.5%） 【中国人】（合/总分合：66.7%） 【北京人】（合/总分合：16.7%） （1b）形容词+名词 【蓝天】（合/总分合：88.9%）【白发】（合/总分合：69.2%） 【绿树】（合/总分合：37.5%） 【大海】（合/总分合：95.7%）【大桥】（合/总分合：83.3%） 【大雨】（合/总分合：70.6%）【大树】（合/总分合：41.2%） 【坏人】（合/总分合：70.0%）【古城】（合/总分合：63.2%） （2）状中结构 【深知】（合/总分合：94.1%）【改建】（合/总分合：90.9%）【分管】（合/总分合：90.0%） 【重建】（合/总分合：78.3%） 【猛扑】（合/总分合：62.5%） 【新建】（合/总分合： 6.7%） （3）动宾结构 【唱歌】（合/总分合：96.7%）【吸烟】（合/总分合：81.3%） 【下雨】（合/总分合：75.9%）【低头】（合/总分合：53.3%） 【挥手】（合/总分合：47.1%）【做饭】（合/总分合：46.7%） 【开车】（合/总分合：30.8%）【买饭】（合/总分合：20.0%） 【养猪】（合/总分合：17.6%）【敲门】（合/总分合： 4.2%） （4）动补结构 （4a）动词+动词 【打断】（合/总分合：95.0%）【惊醒】（合/总分合：91.3%） 【看成】（合/总分合：86.6% 【传遍】（合/总分合：83.3%） 【去掉】（合/总分合：75.0% 【建成】（合/总分合：66.7%） 【盯住】（合/总分合：58.8%）【铺通】（合/总分合：50.0%） （4b）动词+形容词 【缩短】（合/总分合：95.0%）【降低】（合/总分合：90.0%） 【减轻】（合/总分合：86.7%）【加深】（合/总分合：66.7%） 【搞好】（合/总分合：40.0%）【认准】（合/总分合：15.3%） （4c）动词+趋向动词 【露出】（合/总分合：94.4%） 【发起】（合/总分合：90.5%） 【揭开】（合/总分合：87.5%）【穿过】（合/总分合：76.7%）【翻开】（合/总分合：34.8%） 【考上】（合/总分合：23.3%） （4d）动词（形容词）+介词 【等于】（合/总分合：99.9% 【大于】（合/总分合：95.0%） 【