基于上下文关系的文本分类特征描述方法.pdfVIP

计算机科学2007Vo1.341%5 基于上下文关系的文本分类特征描述方法 )‘ 何中市1.2刘 里， (重庆大学计算机学院 ‘重庆大学语言认知与信息处理研究所2重庆400030) 摘 要 文本特征描述是丈本分类的基拙，其目标是用一定的可计算的特征来表示文本，在分类的时候用这些特征来 区分文本。在向童空间模型(VectorSpaceModel,简记为VSM)中采用“词袋”法来处理丈本，即文本被看成是由相互 无关的词语构成的集合，不考虑词语之间的关系，但是这种处理方法不是很合理，因为丈本的结构是完整的，孤立地对 待单个词语将丢失文本的内容信息。在实际语言环境中，词语有一定的上下丈“作用城”，“作用城”中的词语对表达同 一主题具有一定的共性。本文提出了一种基于上下文关系的文本特征描述方法，包括特征选择方法CBFS及权重计 算方法CBFW。该方法是在提取一个初始特征词语集合的基础上，通过用互信息(Mi)来衡量词语在上下文中的依箱 度，选取对主题贡献大的词语加入特征集合，同时调整不同贡献的特征词语的权重，从而更加合理地表示文本。 关键词 特征描述，文本分类，向量空间模型，权重计算 BasedFeatureDescriptionModelinChineseTextCategorization HEZhong-ShiZ LIULi (CollegeofComputerl,InstituteofLangnageRecognationandInfonnationProcessing2,ChongqingUniversity,Chongqing400030) AbstractTextfeaturedescriptionisconsideredasthebasicproblemintextclassificationanditaimstousecomputable featuretomodeldocuments.Themostusedfeaturedescriptionmethodtreatsatextasasetofwords,whichcalledbag ofwordsmodel,underthismodelfeatureselectionandweightingconsiderthefrequencyofsinglewordonly,igno- ringtherelationofwordsincontext.Butgenerallywordsinacertaincontextfieldcandelivercorrelativemeaningfora sametopic.Sothebagofwordsmodellosesthecontextinformationthatisimportantfactsforimprovingclassifica- tionprecision.Thispaperpresentsanewfeaturedescriptionmethodbasedontextcontext.First,acommonlyused featureselectionmethodisusedtogetaninitialsetoffeaturewords;secondly,MutualInformation(MI)isusedto computetheworddependenceinaconcretecontext,then,thefeaturewordsisselectedaccordingtothedenpendence. Meanwhile,theweightofeachfeatureisadjustedExperimentresultindicatestheefficienceofthenewapproach. Keywor山 Featuredescription,Textcategorization,Vectorspacemodel,Weighting 上下文本身就是知识;②在自然语言处理的应用间题解决过 1 引言 程中，上下文扮演着解决问题所需信息和资源提供者的重要 文本的特征