基于LDA模型博客垃圾评论发现_刁宇峰.pdfVIP

25 　 1 Vol.25, No.1 20 11 1 JO URNA L OF CHINESE INFO RM A TION PROCESSING Jan., 2011 :1003-0077 (2011)01-0041-07 LDA , , ( , 116024) 　:Blo (博客)作为一种新兴的网络媒体, 在很大程度上增强了互联网的开放性, Blo 已经成为互联网上的主 信息源之一, 这也使得Blo 空间中的垃圾评论成倍增长, 因此如何识别垃圾评论成为面临的重 问题。 该文首 先借鉴处理垃圾邮件的方法, 针对Blo 本身的特点, 使用规则初步过滤垃圾评论, 然后对剩余评论, 利用 Latent Dirichlet Allocation(LDA)这种能够提取文本隐含主题的产生式模型, 对博客中的博文进行主题提取, 并结合主题 信息进行判断, 从而识别Blo 空间的垃圾评论。 通过实验验证, 该方法可以发现大多数垃圾评论, 实验取得了较 好的结果, 使Blo 信息更加准确、有效的为用户使用。 :Blo ;博文;LDA;主题;垃圾评论 :TP39 1　　　　:A LDA-Based Opinion Spam Discovering DIAO Yufen , YANG Lian , LIN H on f ei (Information Retrieval Laboratory, Dalian University of T echnolo y, Dalian, Liaonin 116024, China) Abstract:A s w ell-known, Blo has become one of the main information sources on the Internet, and the opinion spam also row s fantastically in Blo .The paper focuses on identify in the opinion spam.Firstly, it adopts the method of email spam identification.Considerin the characteristics of Blo , it establishes the rules of comments to filter the opinion spam, and then it utilizes the Latent Dirichlet Allocation Model (LDA)to extract the topics infor- mation from text content in Blo .Finally, w ith the topics information inte rated, it jud es the opinion w hether spam or not.Experiments prove it can identify most of the spam opinions, effectively brin in more accurate and ef- ficient Blo information for users. Key words:Blo ;Blo content;LDA;topic;opinion spam 、, 1 　 。, (BBS ), Blo , ; Blo Weblo , “”, , Blo 。Blo E-mail、BBS 、IM 、、、 , , , Blo 。 、、, ,