不平衡数据集上文本分类特征选择新方法.pdfVIP

28 12 Vol． 28 No． 12 第 卷第 期 计 算 机 应 用 研 究 2011 12 Application Research of Computers Dec． 2011 年 月 不平衡数据集上的文本分类特征选择新方法* ， ， ， 张玉芳 王 勇 熊忠阳 刘 明 ( ， 400044) 重庆大学计算机学院 重庆 : ， ， 摘 要 针对不平衡数据集上进行文本分类 传统的特征选择方法容易导致分类器倾向于大类而忽视小类 提 出一种新的特征选择方法IPR (integrated probability ratio)。该方法综合考虑特征在正类和负类中的分布性质， ， 结合四种衡量特征类别相关性的指标对特征词进行评分 能够更好地解决传统特征选择方法在不平衡数据集上 ， 。 ， 。 的不适应性 在不降低大类分类性能的同时提高了小类的识别率 实验结果表明 该方法有效可行 : ; ; ; ; 关键词 不平衡数据集 文本分类 特征选择 正类 负类 中图分类号:TP391 文献标志码:A 文章编号:1001-3695 (2011)12-4532-03 doi :10 ． 3969 /j ． issn． 1001-3695． 2011． 12 ． 035 New feature selection approach for imbalanced text classification ZHANG Yu-fang ，WANG Yong ，XIONG Zhong-yang ，LIU Ming (College of Comp uter ，Chongqing University ，Chongqing 400044 ，China) Abstract :Handing unbalanced data sets in text classification ，the traditional feature selection approach more likely tends to large categories and neglects sub-categories． To tackle this problem ，this paper proposed a new feature selection approach IPR． This approach considered the distribution property of feature between the positive class and negative class ，combined four measure indicators for features with categories distinguishing ability ，this approach had solved the problem which traditional fea- ture selection was not adaptive to unbalanced data