基于隐主题分析与文本聚类的微博客新闻话题发现的研究.pdfVIP

基于隐主题分析和文本聚类的微博客新闻话题发现研究 路荣，项亮，刘明荣，杨青 中国科学院自动化研究所模式识别国家重点实验室，北京，100190 E-mail: (rlu, lxiang,mrliu, qyang)@ 摘 要：本文研究在大规模微博客文本集上的话题发现的问题。微博客与传统博客不同，首先，它的长度 比传统博客短，往往只有只言片语。其次，它可以通过手机，即时通讯软件等，实时发布，从而会在短时 间内产生大量数据。对于微博客的短文本数据，传统使用词或短语作为特征来表示文本的方法，会由于同 一个词共现在两篇不同短文本中的概率较小，而无法度量它们之间的相似度。本文使用隐主题模型，充分 挖掘短文本的隐主题信息，并在隐主题空间上度量短文本之间的相似度，从而有效解决了短文本的数据稀 疏性问题。另一方面，对于大规模的数据，传统直接利用聚类方法聚合出新闻话题的方法，很难快速得到 理想结果。而本文则首先根据新闻的特点，选择出最有可能谈论新闻事件的微博客，然后用一种两层的K 均值和层次聚类的混合聚类方法，将选择出的微博客快速准确地聚合成不同的新闻话题。实验结果表明， 本文的方法能有效地从大规模微博客短文本数据集中，挖掘出新闻话题。 关键词：微博客，短文本，隐主题模型，话题发现，混合聚类 Extracting News Topics from Microblogs based on Hidden Topics Analysis and Text Clustering Rong Lu, Liang Xiang, M.R. Liu, Qing Yang National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences Beijing 100190 E-mail: (rlu, lxiang, mrliu, qyang)@ Abstract: This paper focused on the task of news topics extraction from large-scale short posts of microblogging service. Microblog is very different from traditional blog. First, it is consisted of from several words to dozens of sentences. That is much shorter than the traditional blog. Second, it can be posted in real-time by mobile phone, instant messaging software and so on, which results in a huge number of posts in a very short period. For the shortness and sparseness of the microblog text, traditional VSM(Vector Space Model) using words or terms as characters can not reach desired accuracy. So, in this work, hidden topics discovering was performed on the whole dataset to reduce the sparseness and make the data more topic-focused. For the large-scale of posts, we first selected the microblogs which are most likely to talk about news events. Then a two-level K-means-hierarchical hybrid clustering method