一种基于狄利克雷过程混合模型的文本聚类算法.pdfVIP

2015年第1l期 曛 doi：103969j／issn1671—1122201511010 一 种基于狄利克雷过程混合模型的文本 聚类算法 高悦 ’，王文贤 一，杨淑贤 (1．四川大学计算机学院网络与可信计算研究所，四川成都610065；2．四川大学网络空间安全研究院． 四川成都610065；3．最高人民检察院，北京 100726) 摘 要 ：随着互联网的普及，论坛、微博、微信等新媒体已经成为人们获取和发布信息的 重要渠道，而网络 中的这些文本数据 ，由于文本数 目和 内容的不确定性，给 网络舆情聚类分析 工作带来了很大的挑战。在文本聚类分析中，选择合适的聚类数 目一直是一个难点。文章提出 了一种基于狄利克雷过程混合模型的文本聚类算法，该算法基于非参数贝叶斯框架，可以将有 限混合模型扩展成无限混合分量的混合模型，使用狄利克雷过程 中的中国餐馆过程构造方式， 实现了基于中国餐馆过程的狄利克雷混合模型，然后采用吉布斯采样算法近似求解模型，能够 在不断的迭代过程中确定文本的聚类数 目。实验结果表明，文章提 出的聚类算法，和经典的 K—means聚类算法相比，不仅能更好的动态确定文本主题聚类数 目，而且该算法的聚类质量 (纯 度、F-score和轮廓系数 )明显好于K-means聚类算法 关键词 ：文本聚类 ；狄利克雷过程混合模型 ；非参数贝叶斯 ；吉布斯采样 中图分类号 ：TP309 文献标识码 ：A 文章编号 ：1671—1122(2015)11-0060—06 中文引用格式 ：商悦，王文贤，杨淑贤．一种基于狄利克雷过程混合模型的文本聚类算法 [J1_信息网络 安全，2015，(11)：6O一65． 英文引用格式 ：GAOY，WANGWx，YANGSX．ADocumentClusteringAlgorithmBasedonDiriehlet ProcessMixtureModel[J]．NetinfoSecurity，2015，(11)：60—65． ADocumentClusteringAlgorithm BasedonDirichletProcess M ixtureM odel GA0Yue． NGWen—xian ．YANG Shu—xian (1．NetworkandTrustedComputingInstitute，CollegeofComputer,SichuanUniversity,ChengduSichuan610065， China；2．CyberspaceSecurityResearchInstitute，ofSichuanUniversity,ChengduSichuan610065，China；3．The SupermePeoplesProcuratorateofthePeoplesRepublieofChina，Beoing100726，China) Abstract：Wim theprevalenceofIntemet，networkfomm，microblog WeChat．etcareanimportant channelforpeopletoobtainandpublishinofrmation．However,theuncertaintyofthedocumentsquantity andcontentbringsgreatchallengeforIntemetpublicopinionanalysis．Indocumentclustering，choosing