基于半监督学习的中文多文档子主题划分.pdfVIP

第34卷第3期 浙江师范大学学报(自然科学版) Vo1．34．No．3 2011年 8月 JournalofZhejiangNormalUniversity(Nat．Sci．) Aug．2011 文章编号：1001-5051l2011)03-0302-04 基于半监督学习的中文多文档子主题划分 徐晓丹 (浙江师范大学数理与信息工程学院，浙江金华 321004) 摘 要：为了能在多文档自动摘要过程中更好地划分子主题，提出了一种基于半监督学习的子主题划分方法： 首先计算句子的语义相似度 ；然后通过层次聚类对可信度高的句子进行主题类别标记，生成少量已标记主题 类别的句子集，在此基础上对所有句子进行 constrained=k—means聚类，通过交叉验证的方法确定子主题的数 目 k；最后使用k-means聚类获得多文档的各个子主题．实验结果表明，该方法有效地提高了子主题的识别率． 关键词：多文档文摘；子主题 ；半监督学习；J}i一means聚类 中图分类号：TP391 文献标识码：A Sub-topicdetectingforchinesemulti-documents basedonsemi—supervisedlearning XUXiaodan ICollegeofMathematics，Phrs~ andInformationEngineering，ZhqmngNormalUnivers ，．nnhuaZhejiang 321004，China) Abstract：Aimedtodepartthesub—topicofmulti—documentsmoreeffectively。itwasproposedanewmethod basedonsemi—supervisedlearning：itfirstlygottheprimalsetsoftopicsbyhierarchyclusteringbasedonse· mantiedistanceofsentences，and labeledthesentenceswhichhadhigh scoresinthetopics。thenusedthe methodofconstrained—k-meanstodecidethenumberoftopicsk，andfinallyobtainedthetopicsetsbyk-means clustering．Theexperimentresultsindicatedhtatthismethod improvedtheaccuracyofsub-topicrecognition． Keywords：multi—documentssummarization；sub—topic；semi—supervisedlearning；k-meansclustering 的文本单元(句子)聚成一类，每一类便可以理解 0 引 言 为一个子主题或是逻辑主题，然后从子主题中抽 随着 Internet的发展和普及，跨文本的研究 取句子生成文摘．从子主题的角度生成文摘可以 越来越受到人们的重视．将同个主题的多个文本 使文摘的覆盖性强而冗余信息少，是一种有效的 去除冗余信息，按照一定的压缩比有机地融合在 方法．在该方法中，子主题的确定是其中关键的一 一 起，即为多文档文摘．随着网络信息量的日益丰 个环节，现有的方法主要有基于层次聚类的方法 富，多文档文摘技术已成为新的研究热点． 和k-means方法 (即k均值聚类算法)．基于层次 目前，对多文档研究较多的是通过聚类的方 的聚类方法需要预先设定一个终止的阈值，而阈 法生成多文档文摘H引，将多文档集合中相同意义