_图书情报作_国内中文自动分词技术研究综述.docVIP

国内中文自动分词技术研究综述* 奉国和1 郑伟2 1华南师范大学 经济管理学院，广州 510006 2河北北方学院 理学院，张家口 075000 〔摘要〕分词是文本自动分类、信息检索、信息过滤、文献自动标引、摘要自动生成等中文信息处理的基础与关键技术之一，中文本身复杂性及语言规则的不确定性，使中文分词技术成为了分词技术中的难点。论文全面归纳中文分词算法、歧义消除、未登录词识别、自动分词系统等研究，总结出当前中文分词面临的难点与研究热点。 〔关键词〕中文分词 分词算法 歧义消除 未登录词 分词系统 〔分类号〕G354 Review of Chinese Automatic Word Segmentation Feng Guohe1 Zhen Wei2 1School of Economics Management, South China Normal University, Guangzhou 510006 2College of Science, Hebei North University, Zhangjiakou 075000 [Abstract] Word segmentation is one of the key technology for natural language processing such as text auto-classification, information retrieval,information filtration, document auto-index,summarization auto-generation etc., Chinese word segmentation is difficult problem in word segmentation because of it’s complexity and uncertain language rules in nature.This paper sums up the research comprehensively of Chinese word segmentation algorithm, disambiguation method, unknown word recognition,auto-segmentaion systems etc.and summarizes Chinese word segmentation’s research difficult points and hot points today. [Key words] Chinese Word Segmentation Word Segmentation Algorithm Disambiguation Method Unknown Word Recognition Word Segmentation System 中文分词是文本分类、信息检索、信息过滤、文献自动标引、摘要自动生成等中文信息处理关键技术及难点。经过广大学者共同努力，过去20多年中文分词取得可喜进步，黄昌宁、赵海[1]在四方面总结了取得的成绩。笔者利用CNKI全文期刊数据库，以“中文and分词”、“汉语and分词”、“自动and分词”等为检索条件，检索时段为1987年-2010年9月11日，进行篇名检索，经筛选分别得到相关研究论文214、191、165篇，通过文献归纳总结出该领域研究现状、研究内容、研究热点与难点，并展望其发展。 1中文分词基础理论研究 中文分词理论研究可归结为：三种主要分词算法及组合算法研究、中文分词歧义消除、未登录词识别与分词与词性标注评测研究。 1.1分词算法研究 衡量分词算法优劣标准是分词速度与精度，各种算法围绕精度与速度展开。目前分词算法很多，大致可归纳为：字符串匹配方法、理解分词方法、统计分词方法、组合分词算法。 1.1.1词典分词方法 ·算法 词典分词方法按照一定策略将待分析汉字串与词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功，该方法需要确定三个要素：词典、扫描方向、匹配原则。比较成熟的几种词典分词方法有：正向最大匹配法、逆向最大匹配法、双向最大匹配法、最少切分等。实际分词系统，都是把词典分词作为一种初分手段，再通过各种其它的语言信息进一步提高切分的准确率。词典分词方法包含两个核心内容：分词算法与词典结构，算法设计可从以下几方面展开：①字典结构改进；②改进扫描方式；③将词典中的词按由长到短递减顺序逐字有哪些信誉好的足球投注网站整个待处理材料，一直到分出全部词为止。 ·词典结构 词典结构是词典分词算法关键技术，直接影响分词算法的性能。三个因素影响词典性能[2]：①词查询速度；②词典空间利用率；③词典维护性能。Ha