基于自动编码器的短文本特征提取及聚类研究-北京大学学报自然.PDF

北京大学学报(自然科学版) 第 51 卷 第 2 期 2015 年 3 月 Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 51, No. 2 (Mar. 2015) doi: 10.13209/j.0479-8023.2015.040 基于自动编码器的短文本特征提取及聚类研究 † 刘勘 袁蕴英 中南财经政法大学信息与安全工程学院, 武汉 430074; † E-mail: liukan@ 摘要 针对短文本的特点, 提出一种基于深层噪音自动编码器的特征提取及聚类算法。该算法利用深度学习 网络, 将高维、稀疏的短文本空间向量变换到新的低维、本质特征空间。首先在自动编码器的基础上 , 引入 L1 范式惩罚项来避免模型过分拟合, 然后添加噪音项以提高算法的鲁棒性。实验结果表明, 将提取的文本 特征应用于短文本聚类, 显著提高了聚类的效果, 有效地解决了短文本空间向量的高维、稀疏问题。 关键词 深度学习 ; 自动编码器; 特征提取; 聚类 中图分类号 TP391 Short Texts Feature Extraction and Clustering Based on Auto-Encoder † LIU Kan , YUAN Yunying School of Information and Safety Engineering, Zhongnan University of Economics and Law, Wuhan 430074; † E-mail: liukan@ Abstract According to the characteristics of short texts, the authors propose a feature extraction and clustering algorithm named deep denoise sparse auto-encoder. The algorithm takes the advantage of deep learning, transforming those high-dimensional, sparse vectors into new, low-dimensional, essential ones. Firstly, L1 paradigm is introduced to avoid overfitting, and the noise is added to improve the robustness. Experimental result shows that applying extracted text features can significantly improve the effectiveness of clustering. It is a valid method to solve the high-dimensional, sparse problem in the short text vector. Key words deep learning; auto-encoder; feature extraction; clustering 互联网已经成为人们日常生活不可或缺的一部 针对短文本特征提取及聚类问题 , 利用深度学习 [2]