基于关键短语的文本分类研究-中文信息学报.PDFVIP

第 2 1 卷 　第 4 期 中文信息学报 Vol . 2 1 , No . 4 2007 年 7 月 J OU RN AL O F C H IN ESE IN FO RMA T ION PROCESSIN G J ul . , 2007 文章编号 : (2007) 基于关键短语的文本分类研究 刘 华 (暨南大学 华文学院 海外华语研究中心 ,广东 广州 5 106 10) 摘 　要 : 文本分类的进一步改进除了算法方面 ,应该还立足于影响文本分类最底层 、最根本的因素 : 文本表示中的 特征项 ,提高特征项的完整独立程度 。关键短语是具有强文本表示功能的特征短语 ,在表示文本时 ,能将文本的内 ( ) 容特征 如主题类别 鲜明地表示出来 。关键短语具有结构稳定 、语义完整和较强统计意义的特点 ,能克服向量空 间模型和贝叶斯假设的缺点 ,更适合作为文本表示的特征 ,有利于提高文本分类的效果 。本文从语言学 、认知心理 学和言语习得 、计算语言学等方面寻求关键短语优势的理论依据 ,对关键短语进行了界定 ,通过抽取网页上专家标 ( ) 引的关键词获得关键短语 。在约 3 万篇测试集上 共 15 个大类 ,244 个小类 ,与以词为特征的文本分类相比, 以关 键短语为特征的文本分类的大类微平均提高了 3 . 1 % ,小类微平均提高了 15 % 。 关键词 : 计算机应用 ; 中文信息处理 ;文本分类 ;关键短语 ;文本表示 ;特征项 中图分类号 : TP39 1 　　　　文献标识码 : A Text Categorization Based on Key Phrases L IU Hua (College of Chinese L anguage and Cult ure , National Cent er for Over sea s HUA YU Research , J inan U niver sit y , Guangzhou , Guangdong 5 106 10 , China) Abstract : Imp rovement in t ext cat egorization lies not on algorit hm of cla ssing mo del , but on t he fundament al ele ment : int egrat ed and indep endent feat ure of t ext rep resent ation . Key p hra ses are p hra se t hat have st rong t ext rep re sent ation function , can charact erize t ext cont ent such as subj ect and kind . Wit h st eady st ruct ure , int egrat ed meaning and st ati stical significance , Key p hrases can overcome t he limit ation of V SM (Vector Sp ace