中文信息学报中文文本分类中基于概念屏蔽层的特征提取方法3.pdfVIP

中　文 　信 　息　学 　报 第 20卷 第 3期 　 JO URNAL O F CH INESE INFO RM A T IO N PROCESS ING Vol. 20 No. 3 文章编号 : 1003 - 0077 (2006) 03 - 0022 - 07 中文文本分类中基于概念屏蔽层的特征提取方法 廖莎莎 ,江铭虎 (清华大学 　人文学院计算语言实验室 , 清华大学 　认知科学创新基地 ,北京 　100084) 摘要 :本文提出了一种新的基于概念抽取和屏蔽层的特征选择方法 。该方法利用 HowN et概念词典中的 概念树 ,通过义原在概念树中的位置信息进行概念抽取 ,并赋予其适当权值来说明其描述能力 。对于权值低 于屏蔽层的义原 ,我们不将其选入特征集 ,并相应保留原词 。具体到每个词 ,我们计算其 D EF条 目中的权值 , 决定是将原词选入特征集还是进行概念抽取 。本文重点研究了如何给义原设定一个合适的权值 ,如何在选取 原词和概念之间取得平衡以及针对非概念词的加权处理 。实验证明 ,设定合适的屏蔽层 ,不仅可以缩小特征 维数 ,使分类正确率得到一定的提高 ,而且可以减少不同类别间的分类正确率的差别 。 关键词 :计算机应用 ; 中文信息处理 ;文本分类 ;特征提取 ;概念抽取 ;属性特征树 ;屏蔽层 ;描述能力 中图分类号 : TP39 1　　　　文献标识码 : A A Fea ture Selection M ethod in C h in ese Tex t C la ssif ica tion Ba sed on Con cep t Ex traction w ith a Sh ielded L evel L IAO Shasha, J IAN G M inghu (L ab of Compu tational L ingu istic s of Ch inese L anguage, Cogn itive Sciences Innovation B ase Tsinghua U n iv. , B eij ing　100084 , Ch ina) A b stract: In th is p ap er, we p ropo se a novel featu re selection m ethod ba sed on concep t extraction and sh ielded level. In th ism ethod, we u se HowN et a s the sem antic dictionary to extract concep t attribu te s. B a sed on their po sition s in the concep t tree, the attribute s w ill get p rop er weights, wh ich p resen t their descrip tion powers. A concep t attribu te w ill not be selected a s feature if itsweigh t is lower than the shielded level and the original word w ill be reserved for u se. To each word, we calcu late all the weights of the concep t attributes in its D EF, and decide whether to extract the c