一种基于VSM文本分类系统的设计与实现.pdfVIP

第 33 卷 第 3 期 　 　　 　 ( ) 　　 　　　Vol. 33 　No. 3 华 中 科 技 大 学 学 报 自然科学版 2005 年 　3 月 　　 　J . Huazhong Univ. of Sci. Tech. (Nature Science Edition) 　 　 　Mar. 　2005 一种基于 VSM 文本分类系统的设计与实现 李 　凡 　林爱武 　陈国社 (华中科技大学 计算机科学与技术学院 , 湖北 武汉 430074) 摘要 : 阐述了一个基于改进向量空间模型的中文文本分类系统的设计与实现 ,包括对该系统的结构、预处理、 特征提取、训练算法 ,分类算法等关键技术的介绍. 通过引入结构层次权重系数来改进文本特征项权重 , 同时 提出一种新的训练算法和文本相似度域值计算方法. 实验结果证明 :该分类系统能有效地提高文本分类效果 , 开放性测试的平均准确率在 80 %以上,且平均查全率达到了 86 %. 关 　键 　词 : 文本分类 ; 向量空间模型; 特征提取 ; 结构层次权重系数 ; 训练算法 ; 分类算法 中图分类号: TP391 　　文献标识码 : A 　　文章编号 : (2005) A Chinese text categorization system based on the improved VSM L i Fan 　L in A iw u 　Chen Guoshe Abstract : A Chinese text categorization system was developed based on the improved vector space model , including the important aspects of system structure , text preprocessing , feature selection , training algo rithm , and recognition algorithm. The system introduced the structurelayer weight coefficient to improve the term weighting , and a new training algorithm and a way of computing text similarity threshold were described. The test result illustrated the effectiveness of the system for categorizing Chinese text . The aver age precision was over 80 % and the recall was 86 %. Key words : text categorization ; vector space model ; feature selection ; structurelayer weight coefficient ; training algorithm ; recognition algorithm Li Fan 　Prof . ; College of Computer Sci. Tech. , Huazhong Univ. of Sci. Tech. , Wuhan 430074 , China. 　　文本自动分类是指在给定的分类模型下 , 根 据文本的内容自动确定文本类别的过程. 本文主 1 　文本向量空间模型 要讨论一个基于改进向量空间模型 ( VSM) 中文 文本分类系统的设计与实现 ,在设计