基于卷积神经网络的职位描述文本分类方法.docxVIP

基于卷积神经网络的职位描述文本分类方法 　　引言　　随着Internet的发展，网络上的信息量增长迅猛，互联网信息提取技术应运而生。自动分类是数据挖掘中一项关键的技术，在许多领域得到了广泛的应用。为了实现快速对大量文本自动分类，许多学者对这一问题做了大量的探索，在构造分类器时使用的技术大体可分为两类：机器学习和深度学习。　　在机器学习领域中，有研究较为成熟的算法，如：?闼乇匆端狗掷嗥鳎?支持向量机，信息熵，条件随机场等。这些方法又可以分为三类：有监督的机器学习，半监督的机器学习和无监督的机器学习。其中李荣陆等人使用最大熵实现了对中文文本的分类。李婷婷等通过对文本数据构建若干特征，再利用传统的机器学习方法对文本进行分类。李文波等人提出了一种附加类别标签的LDA算法，该模型很好的解决了基于传统LDA分类算法时强制分配隐含主题的问题。解冲锋等人利用分类文本中旬子内部词语的相关性和句子间的相关性提出了一种基于序列的文本自动分类算法。　　现有许多分类器效果的好坏大都取决于所构建特征的质量和分类模型。为了得到更好的分类效果，国内学者针对如何选取和生成特征，以及如何优化模型参数等问题做了大量的研究。其中陆玉昌等人深入分析了向量空间模型的本质，找出了其分类正确率低的原因，并提出了一种利用评估函数代替IDF函数的改进方法。李荣陆等人提出了一种基于密度的KNN分类器训练样本裁剪方法，克服了KNN方法中存在的计算量大，而且训练样本的分布不均匀会造成分类准确率的下降的问题。尚文倩等人分析了基于矢量空间模型的大多数分类器的瓶颈，通过对基尼指数进行文本特征选择的研究，构造了基于基尼指数的文本特征评估函数，提出了一种新的基于基尼指数的文本特征选择算法，进一步提高分类性能。刘赫等人针对文本分类中的特征加权问题，提出了一种基于特征重要度的特征加权方法。明显改善了样本空间的分布状态，简化了从样本到类别的映射关系。唐焕玲等人针对如何从高维的特征空间中选取对文本分类有效的特征的问题，提出了一种结合评估函数的TEF-WA权重调整技术，不仅提高了分类精确度，还降低了算法的时间复杂度。　　近几年来，有关深度学习的理论研究与技术应用吸引学术界和工业界的广泛兴趣。特别是图像识别，语音识别等领域的成功应用，越来越多的学者尝试引入深度学习到自然语言的处理领域中来。梁军等人利用自动编码技术和半监督机器学习，实现了对微博文本的情感分析，大量减少了人工标注的工作量。陈翠平引入了深度学习的思想来完成文本分类任务，使用深度信念网络来完成提取文本特征的工作。Yoon等尝试利用卷积神经网络结构来解决情感分析和问题分类等若干自然语言处理任务，获得了不错的效果。　　目前使用机器学习技术实现的中文文本分类器已达到了不错的效果，但仍然存在对混淆类数据处理不佳，特征不稀疏等问题。针对此问题本文提出了一种基于卷积神经网络结合新的TF-IDF算法和Word2vec工具的改良方法。本文在职位描述文本集上展开实验，通过调整调整卷积核，池化层大小以及隐藏层层数，分析新方法和传统方法在不同训练参数情况下，对职业描述文本进行自动分类的性能。　　1基于卷积神经网络的文本分类模型　　卷积神经网络是前馈神经网络的一种，其特点有局部感受野、权值共享，可以极大地减少需要训练的参数个数。基于卷积神经网络的文本分类器可以解决传统文本分类器中人工选取特征难且不准确的问题，其具体构架如图1所示：　　第一层为数据预处理层：该层首先对职位描述文本进行分词处理，然后根据每个词的特性利用现有的算法提取每个词的特征，以作为第二层的输入层。　　第二层为卷积层：该层通过4xl的卷积核对输入层的词特征进行组合过滤，再使用Relu神经元激励函数计算从而形成更抽象的特征模型。　　第三层为池化层：对上一层的词特征的相邻小区域进行聚类统计，得到新的特征。　　第四层为全连接层：在经过卷积层和池化层的处理之后，我们可以认为职位的描述信息已经被抽象成了信息含量更高的特征，需要使用全连接层来完成分类任务。　　第五层为Softmax分类层：通过Softmax层，可以得到当前职位描述属于不同分类的概率分布情况。　　数据预处理是整个分类方法的第一步，预处理的好坏直接影响着分类的效果的好坏。接下来将具体探讨职位描述文本词特征的提取问题。　　2传统TF-IDF算法　　TF-IDF是一种用于资讯检索与资讯探勘的常用加权技术。它的主要方法是：关键词在文档中的权重为该关键词在文档中出现的频数反比于包含该关键词的文档数目。TF表示关键词w在该文档中出现的频率，IDF表示所有文　　通过TF-IDF能够提取出一篇文档的关键词，其含义是如果词w的在该文档中出现的频率高，在其他文档中出现的频率低，就代表词w能够很好的表示该文档的特征。S　　TF-IDF将文