融合注意力机制的多模态突发事件用户情感分析.pdfVIP

170情报理论与实践第45卷2022年第11期信息系统

●张继东,张慧迪(湖北工业大学经济与管理学院,湖北武汉430068)

融合注意力机制的多模态突发事件用户情感分析∗

摘要:[目的/意义]突发事件中不同模态之间传递的信息互为补充,为了充分挖掘突发事件中用户的意见,在情

感分析中引入注意力机制,对挖掘上下文信息进而实现有效分类具有重大意义。[方法/过程]首先,提出融合注意力机

制的多模态情感分析模型。其次,以“7·20河南特大暴雨”突发事件为例,运用Glove执行词向量嵌入,BiLSTM和

VGG16进行文本、图像特征提取。最后,融合图文特征进行情感分类。[结果/结论]对比单模态的情感分析效果,多

模态模型能够提供更加丰富的信息内容。在多模态情感模型基础上,对比有无注意力机制的分析效果,证实注意力机制

能够突出文本中情感信息量的部分,提升了突发事件情感分析的效率和准确性。

关键词:注意力机制;多模态;BiLSTM;VGG16;情感分析

DOI:10.16353/j.cnki.1000-7490.2022.11.022

引用格式:张继东,张慧迪.融合注意力机制的多模态突发事件用户情感分析[J].情报理论与实践,2022,45

(11):170-177.

MultimodalUserEmotionAnalysisofEmergenciesBasedonAttentionMechanism

Abstract:[Purpose/significance]Theinformationtransmittedbetweendifferentmodesinemergenciescomplementseachoth-

er.Inordertofullytaptheopinionsofusersinemergencies,theintroductionofattentionmechanisminemotionanalysisisofgreat

significanceforminingcontextinformationandrealizingeffectiveclassification.[Method/process]Firstly,amultimodalemotion

analysismodelintegratingattentionmechanismisproposed.Secondly,takingthe“7.20Henanrainstorm”emergencyasanexam-

ple,gloveperformswordvectorembedding,BiLSTMandVGG16extracttextandimagefeaturesrespectively,andfinallyfuse

graphicfeaturesforemotionclassification.[Result/conclusion]Comparedwiththeeffectofsingle-modeemotionanalysis,multi-

modemodelcanprovidemoreabundantinformation.Basedonthemultimodalemotionmodel,theanalysisresultswithandwithout

attentionmechanismarecompared,whichprovesthatattentionmechanismcanhighlightthepartofemotionalinformationinthetext

andimprovetheefficiencyandaccuracyofemotionalanalysisofemergencies.

Keywords:attentionmechanism;multimodal;BiLSTM;VGG16;emotionalanalysis

不可忽视的用户行为,也对情感特征挖