中文信息学报中文文本分类中的特征选择研究.pdfVIP

　　　　　 18 3 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol.18 No.3 :1003-0077(2004)03-0017-07 　, , 　 ( , 　100084) :本文介绍和比较了八种用于文本分类的特征选择方法, 其中把应用于二元分类器中的优势率 造 成适用于多类问题的形式, 并提出了一种新的类别区分词的特征选择方法, 结合两种不同的分类方法:文本相 似度方法和Naïve Bayes 方法, 在两 个不同的数据集上分别作了训练和测试, 结果表明, 在这八种文本特征选择 方法中, 多类优势率和类别区分词方法取得了最好的选择效果。 其中, 当用Naïve Bayes 分类方法对各类分布 严重不均的13890 样本集作训练和测试时, 当特征维数大于8000 以后, 用类别区分词作特征选择得到的宏F1 值比用IG 作特征选择得到的宏F1 值高出3%～ 5%左右。 :计算机应用;中文信息处理;文本分类;特征选择;类别区分词 :TP391　　　:A Study on Feature Selection in Chine e Text Categorization ZHOU Qian, ZHAO Ming-s eng, HU min (Department of Electronic Engineering, Tsing ua University, Beijing 100084, C ina) Ab tract:T is paper introduces and compares eig t feature selection met ods in text categorization.Among t e eig t met - ods, Multi-Class Odds Ratio(MC-OR), a variant of Odds Ratio w ic is often used in binary classification, and a new fea- ture selection met od based on Class-Discriminating Words(CDW)are proposed.Combined wit t e classic VSM classifier based on cosine similarity and t e Naïve Bayes classifier, training and test are carried out on two text setswit different class distribution.As t e results indicate, MC-OR and CDW gain t e best selecting effect. Key word :computer application;C inese information processing;text categorization;feature selection;class-discriminating words 1　 (Text Categorization), , 。。 。, ,。: , , , , , 。 :, 。 。 :2003-11-03 :60171037) :(1980—), , , 、. 17 。, , 。 [2] , , (DF) , [2] [2] [2] [3] [3]