汉语分词技术综述.pdfVIP

维普资讯 第19卷 第3期 北 京 机 械 工 业 学 院 学 报 Vo1．19No．3 2004年9月 JournalofBeijingInstituteofMachinery． Sep．2004 文章编 号：1008—1658(2004)03—0052—04 汉语分词技术综述 龚汉明，周长胜 (北京机械工业学院 计算机及 自动化系，北京 100085) 摘 要：分词是中文信息处理的基础，在汉语文本分类、文献标引、智能检 索、自然语言理解与处理等应用中，首先都要对中文文本进行分词处理。从分词的基 本理论出发，对近年来的汉语分词的研究方法与成果进行了综合论述，分析了现有分 词方法的特点，提出了把神经网络和专家系统结合起来建立集成式汉语 自动分词系 统的构想。 关 键 词：分词；文本分类；神经网络；专家系统 中图分类号：TP311 文献标识码：A Chinesewordsegmentationsystem research GONGHart—ming，ZHOUChang—sheng (DepartmentofComputerScience＆Automation，BeijingInstituteofMachinery，Beijing100085，China) Abstract：WordsegmentationisthebasisofChineselanguageprocessing，whichiswidelyappliedin textclassification，literatureindex，intelligentretrievalandnaturallanugageprocessing．Basedon htehteoryoftheChinesewordsemg enattion，anoverviewofhteChinesewordsemg enattiontechnol— ogyispresented，hteexistentChineseWordSemg enattionSystem isanalyzednadna automaticword semg entationalgorihtm derivedfrom artificialneuralnetworkandexpe~system isputforward． Keywords：wordsemg enattion；textclassification；artificialneuralnewtork；expe~system 现代信息技术的发展要求用户有选择地阅读和处理海量文本，因此其预备工作——分词 系统的研究是很有意义的。分词系统是中文信息处理中的一个主要组成部分，是中文自然语 言理解、文献检索、有哪些信誉好的足球投注网站引擎以及文本挖掘系统中最基本的一部分。为了进行中文信息小型 化，需要提取关键知识，也就是说首先要分隔出单个的中文词语，然后才能进行词频统计、文本 分类以及知识发现等工作，从而得到目标文献中用户需要的信息。该文主要对汉语分词技术 进行了概述，并在考察分词精度和分词知识的基础上，探讨了一种基于神经网络专家系统的 自动分词算法，旨在通过新的分词方法提供更加准确的分词率，同时提高系统实现效率。 1 分词的必要性 汉语的中文信息处理就是要 “用计算机对汉语的音、形、义进行处理。”L2我们还知道， “词是最小的能够独立活动的有意义的语言成分。”L3计算机的所有语言知识都来自机器词典 收稿日期：2004—06—18 作者简介：龚汉明(1978一)，男，江西进贤人，北京机械工业学院计算机与自动化系硕士研究生，主要从事数据挖掘、中文分 词方面的研究。 维普资讯 第3期 龚汉明等：汉语分词技术综述 53 (给出词的各项信息)、句法规则(以词类的各种组合方式来描述词的聚合现象)以及有关词和 句子的语义、语境、语用知识库。然而，汉语文本中词与词之间却没有明确的分隔标记，而是连 续的汉字串。切词体现了汉