文档中词语权重计算方法的改进-中文信息学报.pdfVIP

　　　　　 14 6 JOURNALOFCHINESEINFORMATION PROCESSINGVol.14 No.6 　　　 (　　100080) :文本的形式化表示 一直是文本检索、自动文摘和有哪些信誉好的足球投注网站引擎等信息检索领域关注的基 础性问 。向量空间模型(Vector Space Model)中的tf.idf 文本表示是该领域里得到广泛应用 并且取得较好效果的 一种文本表示方法。词语在文本集合中的分布比例量上的差异是决定词 语表达文本内容的重要因素之一, 但现在 tf.idf 方法无法把握这 一因素。针对这 个问 , 本文 引入信息论中信息增益的概念, 提出一种对tf.idf 的改进方法tf.idf.IG 文本表示方法。该方 法将词语的信息增益作为 一个文本表示的一个因子, 来衡量词语在文本集合中分布比例在量 上的差异。在文本分类实验中, tf.idf.IG 文本表示的向量空间模型的分类效果要好于tf.idf 方法, 验证了改进方法tf.idf.IG 的有效性和可行性。 :文本表示;向量空间模型;词语分布比例;信息增益;文本分类 :TP391 AnImprovedApproachto eightingTermsinText LU Song　LI Xiao-li　B I Shuo　W NG Shi (The Institute of Computing Technology, Chinese cademy of Sciences　Beijing　100080) Abstract:Text Representation hasbeen thefundamental problem in Information Retrieval, such as text retrieval, automatic summary and search engine.tf.idf (term frequency, inverse document fre- quency)as one of term-weighting schemes in Vector Space Model is a good text representation which is popular and make good results in the field of Information Retrieval.The proportion of distribution of terms in text collection is one of the most important factors of expressing the con- tent of text, but it is beyond tf.idfs power.Because of this, this paper provides an improved ap- proach named tf.idf.IG to remedy this defect by Information Gain from Information Theory.The Information Gain of terms as one factor for term-weighting schemes can effectively weight the proportion of distribution of terms.In text classification, tf.idf.IG in this paper overcomes old tf.idf. :2000-05-15 :973(G1998030510);;863 (863-306-2D02-01-3) , , 1972 , , 、., , 1969 , , 、., , 1956 , 、, 、 ., , 1971 , , 、. 8 Keywords:text representation;Vector Space Model;Information Gain;text classification