RAS 团队在第九届 ABAW 竞赛中的多模态复合表情识别方法-计算机科学-人工智能-表情识别.pdfVIP

RAS团队在第九届ABAW竞赛中的多模态复合表情识别方法

ElenaRyuminaMaximMarkitantov

St.PetersburgFederalResearchCenterSt.PetersburgFederalResearchCenter

oftheRussianAcademyofSciencesoftheRussianAcademyofSciences

St.Petersburg,RussiaSt.Petersburg,Russia

ryumina.e@iias.spb.sumarkitantov.m@iias.spb.su

AlexandrAxyonovDmitryRyumin

St.PetersburgFederalResearchCenterSt.PetersburgFederalResearchCenter

本oftheRussianAcademyofSciencesoftheRussianAcademyofSciences

译St.Petersburg,RussiaSt.Petersburg,Russia

中axyonov.a@iias.spb.suryumin.d@iias.spb.su

1

vMikhailDolgushinAlexeyKarpov

5

0St.PetersburgFederalResearchCenterSt.PetersburgFederalResearchCenter

2oftheRussianAcademyofSciencesoftheRussianAcademyofSciences

2

0St.Petersburg,RussiaITMOUniversity

.

7dolgushin.m@iias.spb.suSt.Petersburg,Russia

0

5karpov@iias.spb.su

2

:

v

i

xAbstractFeatureSimilarityAggregation(PFSA)方法生成可解

r

a释的复合情绪输出。在多语料库训练下，所提出的方

CompoundExpressionRecognition(CER)，情感法在AffWild2上显示出46.95%的F1分数，在Acted

计算的一个子领域，旨在检测由基本情绪组合而成的复FacialExpressionsinTheWild(AFEW)上为49.02%，

杂情绪状态。在这项工作中，我们提出了一种新颖的零以及通过零样本测试在C-EXPR-DB上的34.85%，与

样本多模态方法来处理CER，该方法将六种异构模态基于目标数据训练的监督方法的结果相当。这证明了

整合到一个单一的工作流中：静态和动态面部表情、场所提出的方法无需领域适应即可捕捉CE的有效