基于中心词的上下文主题模型-计算机应用研究.PDF

基于中心词的上下文主题模型 作者 常东亚, 严建峰, 杨璐 机构 苏州大学 计算机科学与技术学院 发表期刊 《计算机应用研究》 预排期卷 2018 年第35 卷第4 期 访问地址 /article/02-2018-04-031.html 发布日期 2017-03-31 17:00:15 引用格式 常东亚, 严建峰, 杨璐. 基于中心词的上下文主题模型[J/OL]. [2017-03-31]. http://www.arocma /article/02-2018-04-031.html. 摘要 潜在狄利克雷分配（LDA）主题模型是处理非结构化文档的有效工具。但是它是建立在词袋模型 假设上的（BOW，bag of word），这种假设把每一篇文档看成是单词的组合，既不考虑文档与文 档之间的顺序关系，也不考虑单词与单词之间的顺序关系。同时针对现有的模型精度不高，提出 了基于中心词的上下文主题模型，这种模型的思想是一篇文档中单词的主题与其附近若干单词的 主题关系更为紧密。在计算每个单词的主题分布时，以这个词为中心，前后各扩展若干个单词作 为窗口，然后对每个窗口进行计算。这种方法就会形成窗口与窗口之间的… 关键词 潜在狄利克雷分配, 主题模型, 上下文信息 中图分类号 TP391.1 基金项目 国家自然科学基金资助项目61572339; 江苏省科技支持计划重点项目 （BE2014005） 35 优先出版 计 算 机 应 用 研 究 第 卷 基于中心词的上下文主题模型* 常东亚，严建峰，杨 璐 (苏州大学 计算机科学与技术学院，江苏 苏州，215006) 摘 要：潜在狄利克雷分配（LDA）主题模型是处理非结构化文档的有效工具。但是它是建立在词袋模型假设上的（BOW， bag of word ），这种假设把每一篇文档看成是单词的组合，既不考虑文档与文档之间的顺序关系，也不考虑单词与单词 之间的顺序关系。同时针对现有的模型精度不高，提出了基于中心词的上下文主题模型，这种模型的思想是一篇文档中 单词的主题与其附近若干单词的主题关系更为紧密。在计算每个单词的主题分布时，以这个词为中心，前后各扩展若干 个单词作为窗口，然后对每个窗口进行计算。这种方法就会形成窗口与窗口之间的顺序，从而形成了单词之间也是局部 有序，同时由于每个单词的上下文信息不同，所以每个单词的主题分布与其所在文档中的位置有关。通过实验表明，基 于中心词的上下文主题模型在未知数据集上具有更高的精度和收敛速度。 关键词：潜在狄利克雷分配；主题模型；上下文信息 中图分类号：TP391.1 Centroid-word based context topic model Chang Dongya, Yang Jianfeng, Yang Lu (School of Computer Science Technology, Soochow University, Suzhou Jiazngsu 215006, China) Abstract: Latent Dirichlet allocation (LDA) topic model is an effecti