RAS 团队在第九届 ABAW 竞赛中的多模态复合表情识别方法-计算机科学-情感计算-表情识别.pdfVIP

RAS团队在第九届ABAW竞赛中的多模态复合表情识别方法

ElenaRyuminaMaximMarkitantov

St.PetersburgFederalResearchCenterSt.PetersburgFederalResearchCenter

oftheRussianAcademyofSciencesoftheRussianAcademyofSciences

St.Petersburg,RussiaSt.Petersburg,Russia

ryumina.e@iias.spb.sumarkitantov.m@iias.spb.su

AlexandrAxyonovDmitryRyumin

St.PetersburgFederalResearchCenterSt.PetersburgFederalResearchCenter

本oftheRussianAcademyofSciencesoftheRussianAcademyofSciences

译St.Petersburg,RussiaSt.Petersburg,Russia

中axyonov.a@iias.spb.suryumin.d@iias.spb.su

2

vMikhailDolgushinAlexeyKarpov

5

0St.PetersburgFederalResearchCenterSt.PetersburgFederalResearchCenter

2oftheRussianAcademyofSciencesoftheRussianAcademyofSciences;

2

0St.Petersburg,RussiaITMOUniversity

.

7dolgushin.m@iias.spb.suSt.Petersburg,Russia

0

5karpov@iias.spb.su

2

:

v

i

xAbstractWiseFeatureSimilarityAggregation(PFSA)方法生成

r

a可解释的复合情绪输出。在多语料库训练下，所提出

CompoundExpressionRecognition(CER)，情感的方法在AffWild2上的F1分数为46.95%，在Acted

计算的一个子领域，旨在检测由基本情绪组合而成的FacialExpressionsinTheWild(AFEW)上为49.02%，

复杂情绪状态。在这项工作中，我们提出了一种新颖的通过零样本测试在C-EXPR-DB上为34.85%，这些结

零样本多模态方法来处理CER，该方法将六种异构模果与基于目标数据训练的监督方法的结果相当。这证明

式整合到一个单一管道中：静态和动态面部表情、场景了所提出的方法在无需领域适应的