基于文本、表情和音频的多模态情绪识别研究.pdfVIP

基于文本、表情和音频的多模态人类情绪识别研究

摘要

在后疫情时代，社会焦虑症、抑郁症增加，社会心理疏导需求增加，公众的

心理健康和情绪管理问题受到了前所未有的关注。智能化技术的发展为研究者提

供了更高效、个性化且覆盖面广的心理健康支持和疾病预防方法，这对于促进社

会的整体健康和可持续发展具有重要意义。多模态相较于单模态能从多个维度捕

捉到更多情绪信息，更精准、更全面的评估人类情绪，在提高远程心理咨询质量、

优化社会心理援助策略、加强心理健康干预措施的精准性等方面具有重要价值。

为寻找适合本文情绪识别任务的训练数据，本文对多模态情绪识别数据集的

组成成份、每个数据集所含样本来源、数量和类别进行了介绍，详细阐述了文本、

图像、音频三个包含情绪特征模态所对应的原始数据。针对原始数据语句过长，

图像模糊，音频存在噪声等问题，使用词库清洗、对比度调整、分帧与加窗手段

对情绪信息进行预处理，剔除数据中的干扰项。最后使用词嵌入、人脸检测、MFCC

等手段进行情绪特征提取，将预处理后的数据转化为包含情绪特征的特征向量。

为适应即时情绪识别的复杂环境，保证模型的情绪识别准确性，本文首先构

造了人物特征识别网络，用人物的特征信息辅助情绪识别，并将人物特征与文本

特征结合，优化了BERT的模型效果。之后，在残差网络后加入了惯性模块，使

用改进网络解决了表情识别网络在面对干扰时结果上的波动，提升了表情识别的

准确率。在音频上使用CTC+Transformer进行音频特征识别，进而识别波形图与

梅尔图中蕴含的情绪。最后通过准确率、混淆矩阵验证了训练后获得的各个单模

态情绪识别模型的准确度与分类性能。

为进一步学习不同模态特征之间的潜在联系，实现多模态情绪融合，本文提

出了全新的多模态向量结构，用来将单模态情绪识别的输出向量通过模态对齐重

组为统一格式，并将文本、音频、表情三个模态和人物特征向高维度多模态全局

向量空间进行映射，并使用Transformer进行多模态情绪特征向量的识别。通过

IEMOCAP数据集实验结果验证了多模态情绪识别模型的准确度与分类性能，并

将单模态与多模态情绪识别模型进行了比较，实验结果证明了本文所设计的多模

态情绪识别模型相较于单模态情绪识别模型有着更好的识别准确度与分类性能。

之后与IEMOCAP数据集上训练的其他情绪模型进行了比较，结果表明本文模型

准确率优于其他模型，证明模型的先进性。

最后，搭建了多模态情绪识别系统，采用PyQt5设计了情绪识别系统UI界

面，并详细介绍了系统的功能和组成部分。之后，通过情绪识别实验测试模型在

现实环境下的应用效果，实验结果表明，多模态情绪识别系统可以实现不同情绪

的识别，对于心理疾病的预防与诊断具有积极意义。

关键词：多模态情绪识别深度学习特征提取数据融合

RESEARCHONMULTIMODAL

HUMANEMOTIONRECOGNITION

BASEDONTEXTEXPRESSIONSAND

AUDIO

ABSTRACT

Inthepostpandemicera,socialanxietyanddepressionhaveincreased,andthe

demandforsocialpsychologicalcounselinghasincreased.Thepublicsmentalhealth

andemotionalmanagementissueshavereceivedunprecedentedattention.The

developmentofintelligenttechnologyprovidesresearcherswithmoreefficient,

personalized,andwide-rangingmentalhealthsupportanddiseasepreventionmethods,

whichisofgreatsig