基于GloVe与SVM文本分类研究.docVIP

基于GloVe与SVM文本分类研究 　　摘 要：词向量在自然语言处理中起着重要作用，近年来受到越来越多学者关注。然而，在词向量研究中，基于Word2vec词向量的应用研究居多，对于GloVe词向量的应用研究却很少。因此，将GloVe词向量模型与支持向量机（SVM）相结合，利用GloVe词向量模型进行特征提取与选择，利用SVM进行分类，并与Word2vec词向量结合SVM作实验对比。实验结果表明，GloVe词向量特征提取与SVM分类相结合的方法能够取得较好的准确率、召回率及F值，因此在新闻文本分类中具有一定应用价值。 　　关键词：词向量；GloVe；SVM；文本分类 　　DOI：10.11907/rjdk.172991 　　中图分类号：TP301 　　文献标识码：A 文章编号：1672-7800（2018）006-0045-04 　　Abstract：Learning high-quality vector representation for words plays an important role in natural language processing and has attracted great attention of many researchers due to its simplicity and effectiveness. However， application research based on the word2vec word vector far outnumbers the GloVe word vector application research . For this reason， this paper proposes a method of combining GloVe word vector with SVM. The method uses GloVe word vector to extract and select features， classifies features by SVM， and compares it with word2vec word vector SVM. The experimental results show that SVM classification method combined with GloVe word vector feature extraction can achieve good accuracy and F value， and gets a good recall rate. Therefore it has certain application value in news text classification . 　　Key Words：word representation； GloVe； SVM； text classification 　　0 引言 　　词向量具有良好的语义特征，是表示词语特征的常用方式。词向量每一维代表一个具有一定语义和语法上解释的特征，该特征能够同时捕捉到单词的语义和语法信息。现有词向量学习方法大致可分为基于神经网络学习和基于矩阵分解学习的方法。基于神经网络学习词向量是指根据上下文与目标之间的关系建立语言模型，通过训练语言模型获得词向量[1-4]。近几年提出的Word2vec[5]词向量模型去除了神经网络结构中的非线性隐层，大大降低了算法复杂度，获得了高效词向量。在Word2vec中提供了两种架构模型：Continuous Bag-of-Words Model（CBOW）和Continuous Skip-gram Model（Skip-gram）。CBOW根据上下文预测目标单词，Skip-gram根据目标单词预测上下文。基于矩阵分解的词向量模型[6]是通过分解从文本语料库中提取的矩阵得到低维词向量，其中典型代表为GloVe词向量。 　　Word2vec词向量模型已被广泛应用于各种自然语言处理任务[7-11]中，如命名实体识别、情感分析、机器翻译、微博短文本分类等，然而GloVe词向量在自然语言处理任务中却很少用到。另外在词向量应用于文本分类的研究中，很少分析同一个模型训练出的词向量在词向量维度不同情况下的分类效果差别。基于上述原因，本文通过不同维度的GloVe词向量在新闻文本分类中的应用效果研究，并与Word2vec在新闻文本分类中的应用效果作对比，通过样本长度及样本数量的变化检测GloVe词向量在特征提取中的稳定性。其中，通过样本长度变化所引起的分类效果变化探究GloVe词向量在长短文本中的应用情况，通过样本数量变化所引起的分类效果变化探究GloVe词向量