面向多模态情感分析的双模态交互注意力.pdfVIP

计算机科学与探索1673-9418/2022/16(04)-0909-08

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2105071

面向多模态情感分析的双模态交互注意力开放科学(OSID)

+

包广斌，李港乐，王国雄

兰州理工大学计算机与通信学院，兰州730050

+通信作者E-mail:1450316716@

摘要：针对现有多模态情感分析方法中存在情感分类准确率不高，难以有效融合多模态特征等问题，通过研

究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用，建立一种融合上下文和双模态交

互注意力的多模态情感分析模型。该模型首先采用双向门控循环单元（BiGRU）捕获各模态中话语之间的相

互依赖关系，得到各模态的上下文信息。为了学习不同模态之间的交互信息，提出了一种双模态交互注意力

机制来融合两种模态的信息，并将其作为条件向量来区分各模态信息对于情感分类的重要程度；然后结合自

注意力、全连接层组成多模态特征融合模块，挖掘模态内部和模态之间的关联性，获得跨模态联合特征。最

后，将得到的上下文特征和跨模态联合特征进行拼接，经过一层全连接层后馈送至Softmax进行最终的情感分

类。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估，实验结果表明，相比现有模型，

该模型在多模态情感分类任务上的表现是有效的和先进的。

关键词：多模态；情感分析；双向门控循环单元（BiGRU）；上下文；双模态交互注意力；特征融合

文献标志码：A中图分类号：TP391

BimodalInteractiveAttentionforMultimodalSentimentAnalysis

+

BAOGuangbin,LIGangle,WANGGuoxiong

SchoolofComputerandCommunication,LanzhouUniversityofTechnology,Lanzhou730050,China

Abstract:Aimingattheproblemsoflowaccuracyofsentimentclassificationanddifficultyineffectivelyfusing

multimodalfeaturesinexistingmultimodalsentimentanalysismethods,amultimodalsentimentanalysismodel

combiningcontextandbimodalinteractiveattentionisestablishedbyanalyzingthedependencebetweenadjacent

utterancesandtheinteractionamongtext,audioandvideomodalities.Firstly,themodeladoptsabidirectionalgated

recurrentunit(BiGRU)tocapturethedependencebetweenutterancesineachmodal,andthecontextinformationof

eachmodalisobtained.Inordertolearntheinteractiveinformationbetweendifferentmodalities,abimodal

interactiveattentionmechanismisproposedtofusetheinformationofthetwomodalitiesandi