面向企业信息检索的中文分词系统的研究与实现-计算机应用技术专业论文.docxVIP

A A Thesis in Computer Application Technology Research and Implementation of Chinese Word Segmentation System for Enterprise Information Retrieval By Chu Jingnian Supervisor：Associate Professor Lin Huilin ■■■【L Northeastern University June 2008 四飞f，kJi-- 四 飞 独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢 二屯 思o ’ 学位论文作者签名：稻极年 I 日 期： 2神亨．7．牛 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年d 一年口 一年半口 两年口 0，■■ 学位论文作者签名：镪铂 导师签名：吾＼择青去．_～ 签字日期：加8、1．争 签字日期：Z嘶。1，啤 ? ? 东北大学硕士学位论文 东北大学硕士学位论文 摘要 面向企业信息检索的中文分词系统的研究与实现 摘 要 随着企业信息的飞速增长，企业信息检索逐渐成为信息检索领域研究的热点，中文 l 分词作为信息检索的文本处理阶段一个重要步骤，直接影响着检索结果的准确性。学术 界关于分词技术的研究一直比较多，但是目前的研究大多是通用的分词算法，专门针对 -● 企业检索应用的分词技术研究相对较少。因此，研究中文分词技术在企业信息检索中的 - 应用有重要的理论和现实意义。 本文研究了中文分词的关键技术及难点，分析了分词对大规模信息检索的影响，在 此基础上结合企业信息检索中分词技术的特点，设计了中文分词系统(EIRCWS)。由于 面向企业信息检索的分词算法对时间性能要求较高，本文设计了一种新的多字哈希结构 的词典，改善了词典查询算法，提高了分词效率。歧义消除和未登录词识别是分词的两 大技术难点。考虑到企业信息检索应用的特点，在歧义消除部分，本文重点解决交叉歧 义问题，利用双向匹配结果进行比较来检测歧义，采用自定义规则来消除歧义。在未登 录词识别部分，本文提出了一种新的未登录词识别方法，利用数量词识别规则和虚字辅 助切分分词碎片，通过局部词频统计结合单字非词概率，使得算法在不依赖大型语料库 的前提下可以有效地识别多个领域中各种类型的未登录词。 实验结果表明，本文设计的分词系统，分词速度快，准确率高，而且对未登录词具 有很强的识别能力，符合企业信息检索对中文自动分词的要求。 关键词：企业信息检索； 中文分词； 歧义处理； 未登录词识别 一II— ‘ 、， ?? ? 明 !)II !)II . 东北大学硕士学位论文 东北大学硕士学位论文 目录 Research and Implementation of Chinese Word Segmentation System for Enterprise Information Retrieval Abstract With the rapid growth of enterprise information，study in enterprise information retrieval is becoming a hot point in information retrieval．As all important procedure of the text operation stage，Chinese word segrnentation(CWS)influences the accuracy of the searching results directly．There are many researches which focus on the technology of CWS．However, ● mos