多语种环境下面部-语音关联（FAME）2026 挑战评估 计划.pdfVIP

多语种环境下面部-语音关联（FAME）2026挑战评估

计划

†††††

MartaMoscati,AhmedAbdullah,MuhammadSaadSaeed,ShahNawaz,RohanKumarDas,

MuhammadZaighamZaheer,JunaidMir,MuhammadHaroonYousaf,KhalidMalik,MarkusSchedl

JohannesKeplerUniversityLinz,Austria,NationalUniversityofComputerandEmergingSciences,Pakistan

UniversityofMichigan,USA,FortemediaSingapore,Singapore

MohamedbinZayedUniversityofArtificialIntelligence,UnitedArabEmirates

UniversityofEngineeringandTechnologyTaxila,Pakistan,

Human-centeredAIGroup,AILab,LinzInstituteofTechnology,Austria

mavceleb@

本

译

中

1

v

2

9

5

4

0

.

8

0

5

2

:

v

i

x图1:（左）面部-声音关联是通过一项跨模态验证任务建立的[1]。（右）FAME2026挑战赛将任务扩展到分析

r

a多种语言的影响。

摘要—技术的进步导致了多模态系统在各种实际应用中的I.介绍

使用。其中，视听系统是最广泛使用的多模态系统之一。近年来，

由于面部和声音之间存在独特的相关性，将一个人的面部与声音

人脸和声音具有独特的特征，通常被用作个人身份

关联起来受到了关注。《多语言环境下面部-语音关联（FAME）

2026挑战赛》专注于探索在多语言场景下的面部-语音关联问验证的生物识别测量方法，既可以作为单模态输入也可

题。这一条件源于世界上一半人口是双语使用者，并且人们大多以作为多模态输入[2],[3]。人类在感知不同人的面部

时候是在多语言环境下进行交流的事实。该挑战赛使用了一个名和声音之间建立的强大关联激发了开发用于自动面部-

为MultilingualAudio-Visual(MAV-Celeb)的数据集来语音关联工具的发展[4]–[8]。尽管以前的研究已经建立

研究多语言环境下面部与声音的关联性。本报告提供了FAME了面部与声音之间的关联，但这些方法中没有一个研究

挑战赛的详细信息、数据集、基线模型以及任务细节。

了多种语言对这一任务的影响。由于世界上一半的人口

是双语者，并且我们经常在多语言场景下进行交流，因

†同等贡献。

III.重大挑战描述

数据集。遵循之前在ACM多媒体上举办的FAME202