中文文档自动分类系统的设计与实现Ξ.PDFVIP

中　文 　信 　息 　学 　报 第 13 卷 第 3 期 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 13 No. 3 中文文档自动分类系统的设计与实现 邹 涛 　王继成 　黄 源 　张福炎 南京大学多媒体计算机研究所 　软件新技术国家重点实验室 　南京 　2 10093 摘要 　文档自动分类是信息处理领域中的一项重要研究课题 。本文阐述了一个中文文档 自动分类系统的设计与实现 ,并着重介绍了系统实现中的一些主要技术问题的处理 ,如文本分 类模型、特征提取 、词典构造等 。 关键词 　文本分类 　分类模型 　V SM 　特征提取 一 、引言 随着信息技术的发展 ,特别是 Internet 应用的普及 ,人们已经从信息缺乏的时代过渡到了 信息极大丰富的时代 ,如何从大量信息中迅速有效地提取出所需信息也就成为了一项重要的 研究课题[ 1 ] ,文本信息的自动分类是其中一个重要研究方面 。 文档分类是指根据文档的内容或属性 ,将大量的文档归到一个或多个类别的过程 。文档 ( ) 分类的关键问题是如何构造一个分类函数或分类模型 也称为分类器 ,并利用此分类模型将 未知文档映射到给定的类别空间。分类器的构造方法有多种 ,主要有统计方法 、机器学习方 法 、神经网络方法等 。国外对文档分类技术的研究已经开展了多年 ,并在邮件分类 、电子会议 、 ( ) 信息过滤等方面得到了较为广泛的应用 ,其中较为成功的系统有麻省理工学院 M I T 为白宫 开发的邮件分类系统 、卡内基集团为路透社开发的 Const rue 系统等[2 ] 。在国内,文档 自动分 类技术的研究起步较晚 ,且由于中文与英文存在较大的差异 ,不能照搬国外的研究成果 , 因此 有必要研究并开发出实用化的中文文档自动分类系统 。 ( ) 本文介绍了一个采用向量空间模型 Vector Sp ace Model ,V SM 、针对中文技术文档的自 动分类系统 C TDCS (Chinese Technical Document s Classification System) 的设计与实现 。 C TDCS 作为江苏省科委 95 科技攻关项 目“面向电子报刊电子图书馆的网络出版发行系 统”的一个子系统 ,经过近半年的试运行和多次的修正 , 已取得了较为理想的分类效果 。 二 、系统结构 2 . 1 　模块划分 C TDCS 系统是为了实现对大量中文技术资料进行实时地 自动分类而设计开发的。C TD CS 系统采用了向量空间模型和基于统计的特征提取技术 ,能够根据文档的具体内容将其分配 本文于 1998 年 12 月 2 日收到 本文研究得到江办省科委九五科技攻关项 目“面向电子报刊电子图书馆的网络出版发行系统”的资助 26 到一个或多个类别中 , 以便于用户对资料的浏览与查询 。系统主要由语料库维护 、词典维护 、 ( ) 特征提取 、文档分类和系统设置等五部分组成 见图 1 。图中各模块的功能如下 : 图 1 　CTDCS 系统结构 1. 语料库维护模块 负责管理用于算法学习和特征提取的训练文档集 ,主要功能有文档类的建立 、删除和训练 文档的添加 、删除、浏览 、索引。文档集按照训练文档所属类别以目录树的结构存储 ,其中语料