字母词全半角形式对中文分词影响及对策初探.docVIP

字母词全半角形式对中文分词影响及对策初探 　　摘 要:中文科技名词自动抽取的关键步骤是分词,文章首先讨论中文语料库中字母词的全/半角现象,然后考察这种现象对自动分词结果当中字母词的一致性和准确性所产生的影响,并给出提高切分结果的一致性和准确性的对策,最后阐述中国传媒大学的分词系统在这方面所做的工作。 　　关键词:字母词,科技名词,术语抽取,分词,全/半角 　　中图分类号:H08;N04 文献标识码:A 文章编号:1673-8578(2010)04-0019-05 　　 　　一 引 言 　　 　　汉语中的“字母词”是由字母单独,或字母与汉字、数字、符号等一起构成的词[1]。字母词从19世纪后期就开始出现[2],但对字母词的研究直到20世纪后期才开始[3]。近年来字母词数量增长迅速,字母词频繁地进入社会生活,目前已有多部专门的字母词词典出版。收词比较严谨的《现代汉语词典》(以下简称《现汉》)在1996年第3版中?┆┛?始收录少量西文字母开头的字母词,2002年第4 版和2005年第5版收录的字母词条目的数量均比前一版次有所增加。 　　 “全角”和“半角”是跟字符集和编码有关的概念。ASCII字符集中的可显示字符都是单字节编码的,它们在GB 2312字符集中,又都有对应的双字节编码形式。在中英文混合文本中,如果可显示的单字节编码字符用宋体字显示的话,会占半个汉字的位置,俗称“半角”字符,它们在GB 2312字符 集中的对应形式会占据一整个汉字的位置,相应称为“全角”字符。 　　汉语语料库在计算机化之前,字母词是不存在全角半角问题的。从纸质媒介上看,“卡拉”和“卡拉OK”的含义是一样的,“牌照”和“3G牌照”也不会让人误认为是两种不同的东西,只不过字符的宽度稍有不同而已。但在语料库引入计算机存储之后,可显示的单字节编码字符的全/半角问题就开始出现。首先受影响的是语料检索,一般的文本处理软件根本不认为全角和半角有什么关联,检索一个字母词,需要同时检索其半角形式和全角形式才能得到完整的数据。其次受影响的是分词。目前的分词系统,在字母词的全/半角处理上很难给出一致性的切分结果,这会直接影响词频统计结果的准确性,而词频统计正是术语抽取工作的一个环节。 　　 　　二 研究的准备工作 　　 　　1.几个语料库的字母词全/半角收录调查 　　目前的汉语语料库,在语料的全/半角形式方面多数没有统一的规定,通过对国内能公开检索到的4个汉语语料库(国家现代汉语语料库??①、传媒语言语料库??②、人民日报切分/标注语料库??③、CCL语料库??④)的检索,发现只有人民日报切分/标注语料库对语料中的字母词作了全角化处理,其他语料库都是全、半角字母词兼收并蓄,传媒语言语料库甚至在一个字母词中同时包含了全角和半角字符。 　　我们使用传媒大学分词系统对传媒语言语料库1999―2007年的全部语料(大约2.3亿字)进行了自动切分标注,然后对结果进行了全/半角统计。除了标点符号之外,包含字母、数字或者其他符号的切分单位??⑤共出现2 380 372次,其中纯全角形式占86.5%,纯半角形式占12.2%,全/半角混合形式占1.3%。 　　同一个字母词的全角形式和半角形式在语料库中的编码是完全不一样的,如果进行词频统计,需要将经过分词的语料当中同一个字母词的全角形式和半角形式转换成同一种形式,才能进行后续的统计工作。2006年度的《中国语言生活状况报告》(以下简称《报告2006》)在统计字母词频次的时候,就是这样做的。这样的统计需要一个前提:语料分词结果中的字母词具有较好的一致性和准确性。 　　这里的一致性是指同一个字母词的全角形式和半角形式在相同的上下文中具有相同的分词结果。而准确性是指语料中的字母词在分词之后能被正确地识别出来。目前国内的汉语分词系统对分词结果中字母词的一致性和准确性还没能给予足够的重视。 　　2.分词系统的选取 　　在研究中,我们选取如下几个可以公开得到的分词系统的分词结果作为参考: 　　(1)哈尔滨工业大学信息检索研究室的分词系统??⑥; 　　(2)中国科学院计算技术研究所开发的商业版分词系统ICTCLAS??⑦; 　　(3)北京法国电信研发中心开发的好又快词法分析系统??⑧; 　　(4)史晓东个人开发的分词系统??⑨; 　　(5)赵海个人开发的分词系统??⑩。 　　上述5个分词系统,有一个来自学术研究机构,两个来自商业机构,两个来自学者个人。这几个系统基本上算是能公开得到的分词系统中比较有代表性的组合。在研究中,为了方便比较分词结果,我们将这五个分词系统随机命名为A、B、C、D、E。 　　3.字母词的考察范围界定 　　《现汉》为反映汉语词汇的发展而收入了常用的字母词,但由于容量限制等因素,收录