基于词向量互补的多层次注意力机制情感分析模型.pdfVIP

第23卷第2期深圳信息职业技术学院学报Vol.23No.2

2025年4月JournalofShenzhenInstituteofInformationTechnologyApr.2025

基于词向量互补的多层次注意力机制情感分析模型

陈苗苗，郑丹，任小强

（西南交通大学希望学院信息工程系，四川成都610400）

摘要：针对传统RNN网络文本特征提取的不足，提出一种基于词向量互补多层次注意力机制的情感分析模型。

该模型将语料进行分词和分字预处理后送入Word2Vec和FastText两个词向量模型训练，获得双通道互补的词向量，

再加入自注意力机制以自适应调整不同特征词的权重。在综合评论语料库上测试该模型得到的F1分值为0.9318，明

显优于其他基线模型。实验结果表明，该分析模型不仅可以改善RNN存在的问题，还能够有效提高文本情感分析的

准确性。

关键词：文本情感分析；双向门控循环单元；词向量互补；自注意力机制

中图分类号：TP391.1；TP18文献标志码：A

随着信息技术的快速发展，大众在网络上消费（RNN）是最早被应用于文本情感分析领域的深度

并发表评论成为日常生活的一部分。这些日常评论学习网络，但这两种网络也存在固有缺陷。CNN网

蕴含着大量用户观点、情感倾向等主观信息，挖掘络由于本身计算特性，无法考虑文本中存在的上

出这些信息中有价值的观点，可以辅助企业和政府下文依赖现象；RNN网络虽然能够有效提取文本特

部门的决策者做出正确决策。情感分析方法主要征，又能记忆历史信息，但存在梯度扩散和梯度爆

包含基于情感词典和基于机器学习两大类。基于情炸的问题。因此，目前使用更为广泛的是RNN网络

感词典的方法是通过将文本中包含的词语与情感词的两个衍生网络：长短时记忆网络（LSTM）和门

典中的种子词进行对比，然后为不同情感倾向的词控循环单元网络（GRU）。这两个网络可以有效解

分配不同权重，最后加权各个情感倾向词的权重，决RNN网络存在缺陷，同时提高文本情感分析的准

这种方式十分依赖情感词典的构建和相应的权值分确率。近年来，很多学者在LSTM和GRU的基础上

配。基于机器学习的方法本质为一个分类问题，其进行了改进，并取得了大量的研究成果[2]。Trank

中特征是分类问题的关键，特征提取的优劣直接影等[3在LSTM之上另外引入外部记忆单元，以此来

响基于机器学习方法的好坏。随着深度学习的兴提升模型对历史信息的处理能力。Zhang等4提出了

起，文本情感分析的方法有所突破，基于情感词典一种用于对话情绪分析的交互式长短期记忆网络，

和机器学习方法存在的缺陷得到改善。通过在每个LSTM隐藏单元之前添加一个置信度门

卷积神经网络（CNN）和递归卷积神经网络以估计先前说话者的可信度。曹宇慧5]在LSTM模型

[收稿日期]2024-12-26

【基金项目】中国电子劳动学会2023年度“产教融合，校企合作”教育改革发展课题（项目编号：Ceal2023019）；教育部产学合作协同

育人项目（项目编号：230907535184937）。

【作者简介】陈苗苗（1992-），女（汉），四川人，硕士，讲师，主要研究方向：自然语言处理。

56深圳信息职业技术学院学报第23卷

基础上，提出一种结合LSTM模型和SVM的文本情此来提高文本情感分析的准确度和精确度。

感分析模型，此模型使用预训练词向量序列替换样

1GRU模型结构

本的词语序列，然后利用CNN网络去学习输人样本

的特征，最后将获得的特征作为支持向量机的输Cho等113在RNN的基础上提出了一种门控循环

人。实验结果表明该分析模型提升了文本情感分析单元网络（GRU），该网络能够回溯更长距离的

的有效性。Graves等提出在LSTM的基础上增加反信息，克服RNN存在的梯度消失和梯度爆炸问题。

向层，