973词表技术报.doc

973课题G1998030501A-03“《句法树库》和《汉语通用词表》建设” 《汉语通用词表》建设 技术报告 孙茂松 清华大学智能技术与系统国家重点实验室 2003年11月 1. 背景 国家技术监督局于1993年发布了中华人民共和国国家标准 GB/T 13715-92《信息处理用现代汉语分词规范》。这个规范对推动汉语自动分词研究的发展，起到了积极的作用。然而，使用者也普遍反映，该规范中多次出现了“结合紧密、使用稳定（频繁）”的表述，试图对某些介乎“词”与“词组”之间的“分词单位”进行界定，但这个表述很模糊，难以具体操作。一直有来自语言学和计算语言学两个领域的专家建议，应该建立一个词表作为分词规范的补充材料，凡收进词表的“分词单位”，认为就是“结合紧密、使用稳定（频繁）”，否则不是。通过这种方式，将该规范中存在的“灰色地带”明确地区分开来。此即为本课题的动因。 2. 建设目标 建立一个面向信息处理的、具有较强通用性及覆盖能力的“汉语通用词表”是本课题的奋斗目标。这个词表应该具有如下特征：（1）针对信息处理的基本需要。信息处理的不同应用对分词词表提出的要求也不尽相同，例如OCR、拼音转汉字、语音识别与合成等，一般希望词表的规模有所控制，因而词表的平均词长倾向于短一些，而机器翻译则恰好相反，平均词长倾向于长一些—我们认为，第一种类型的信息处理应用更为基本，我们的词表应大致定位于斯。（2）以人为本。机器归根到底是为人服务并且为人所用的，所以这个词表既要向根据语言学理念建立起来的词表尽量靠拢，同时又要与老百姓心目中“朦朦胧胧”但又确乎存在的“词表”尽量兼容。不要另起炉灶，人为地将面向机器与面向人割裂开来，两者的统一是本子课题刻意追求的境界。（3）最后交帐的东西是“表”，而不是“典”，重“用”而不重“备查”，所以词的常用性也是考量的必要条件之一。即使是再典型不过的词，如果不常用，也不收。 3. 基本原则 其一凡任一汉语语言学规则认可的词，只要达到常用性指标，均予收录（如发生转义的词“黑手”“走后门”“榆木脑袋”等）。语言学规则要用足、用够。 其二靠纯粹的语言学规则界定不清但具有合适词法结构的某些成分，只要频度足够高，一般应收录。主要涉及动宾、动补（如[动+动]、[动+形]、[动+介]）、定中（如[名+名]、[形+名]、[方位+名]）、状中、数量（如“一个”）、处所（如“空中”）以及前后加缀（包括准前缀、准后缀及其组合）等结构，并且结构中的各子成分均可单用，整体未发生转义。语言学的一般做法通常倾向于把它们视为短语，我们则称之为“常用接续”。将“常用接续”收入词表的来法可从几个方面找到理据：汉语语言学研究、语言使用的世俗心理、信息编码理论的支持以及词表所具有的隐式构词知识库的性质。其三，凡拆开后无助于机器分析甚至增加了机器分析的困难程度的成分，应尽量从合，常用的收入词表。如缩略语“国内外”“大中小学”“外交部长”等。 其四，关于单字词。这里认同以下各类汉字是单字词：（1）没有太多争议的单字词；（2）化学元素及有机化学物（常用的收入词表）；（3）重要地名简称；（4）前后缀或准前后缀；（5）中国朝代；（6）中国56个民族。姓氏则不算作单字词。 宏观上看，我们所说的“词”的内涵与外延与GB/T 13715-92 定义的“分词单位”差不多。 4．词表构成 一般地，词表收录了以下几类语言单位：普通词、带字母词、专名、常用接续、成语、俗语（以上均针对多字词）以及单字词。 基础类：白菜、杂交、游泳、立正、拥有、白兰地 普通词 合成类：杂交稻、白兰地酒、总司令、划时代、打前站 拿大顶、安乐死、帐房先生、积极分子、移动电话、 保外就医、祖祖辈辈、高高兴兴、吹吹打打 带字母词：IC卡、X射线、三K党 基础类：法国、北京、哈尼、法兰西、昆仑 专名 合成类：北京市、哈尼族、昆仑山、昆仑山脉 词表 基础类：猪肉、木梳、左耳、母猪、东门、白云、笛声、 桌上、湖边、全国、各厂、拉紧、穿上、再也、 说道、写有、测得、改为、尤为、一个、第一 常用接续 合成类：铁栅栏、