基于向量空间模型的文本自动分类系统的研究和实现.pdfVIP

第 9 期 庞剑锋等 :基于向量空间模型的文本自动分类系统的研究与实现 ·23 ·　　 基于向量空间模型的文本自动分类系统的研究与实现 庞剑锋 , 卜东波, 白 　硕 ( 中国科学院 计算技术研究所 ,北京 100080) 摘 　要 : 随着网络信息的迅猛发展 ,信息处理已经成为人们获取有用信息不可缺少的工具。文本自动 分类系统是信息处理的重要研究方向 ,它是指在给定的分类体系下 ,根据文本的内容自动判别文本类别 的过程。对文本分类中所涉及的关键技术 ,包括向量空间模型、特征提取、机器学习方法等进行了研究 和探讨 ,并且提出了基于向量空间模型的文本分类系统的结构 ,并给出了评估方法和实验结果。 关键词 : 文本分类 ; 中文信息处理; 向量空间模型 ( ) 中图分类号: TP391 　　　文献标识码 : A 　　　文章编号 : 2001 Research and Implementation of Text Categorization System Based on VSM PANGJianfeng , BU Dongbo , BAI Shuo ( ) Institute of Computing Technology , Chinese Academy of Sciences , Beijing 100080, China Abstract : In recent years , information processing turns more and more important for us to get useful information . Text categoriza tion , the automated assigning of natural language texts to predefined categories based on their contents , is a task of increasing impor tance. This paper gives a research to several key techniques about text categorization , including vector space model , feature extrac tion , machine learning . It also describes a text categorization model based on VSM , and gives the evaluations and results . Key words : Text categorization ;Chinese information processing ;Vector space model 1 　引言 集合。 文本分类的映射规则是系统根据已经掌握的每类 20 世纪 90 年代以来 , Internet 以惊人的速度发展 若干样本的数据信息 ,总结出分类的规律性而建立的 起来 ,它容纳了海量的各种类型的原始信息 ,包括文本 信息、声音信息、图象信息等等。如何在浩若烟海而又