多模态循环集成用于预测对自然电影的脑反应-计算机科学-机器学习-算法.pdfVIP

多模态循环集成用于预测对自然电影的脑反应

（Algonauts2025）

SemihEren1,2Deniz

Kucukahmetler1,3Nico

Scherf1,4

1Max

PlanckInstitute

forHumanCognitiveandBrainSciences,

Leipzig,

Germany

2TU

Dresden,

Dresden,

Germany

3School

forEmbeddedandComposite

AI

(SECAI),

Dresden/Leipzig,

Germany

4Center

for

Scalable

Data

Analytics

AI

(ScaDS.AI),

Dresden/Leipzig,

Germany

本Abstract

译

中准确预测自然刺激引起的分布式皮层反应需要能够随时间整合视觉、听觉

和语义信息的模型。我们提出了一种分层多模态递归集成方法，将预训练的

1

v视频、音频和语言嵌入映射到四名受试者观看由Algonauts2025挑战提供的

7近80小时电影时记录的功能磁共振成像时间序列上。特定模式的双向RNN

9

8编码时间动态；它们的隐藏状态被融合并传递给第二个递归层，轻量级的个

7体特异性头部输出1000个皮质分区的反应。训练依赖于一个复合均方误差

1

.–相关损失和一种逐渐将重点从早期感觉区域转移到晚期联合区域的教学

7计划。平均100种模型变体进一步增强了稳健性。该系统在竞赛排行榜上排

0

5名第三，总体Pearsonr=0.2094，并且在所有参与者中实现了最高的单个

2分区峰值分数（均值r=0.63），特别是在最具挑战性的受试者5身上获得

:

v了显著的提高。该方法为未来多模态脑编码基准测试建立了一个简单、可扩

i

x展的基础。

r

a

1介绍

理解复杂的自然刺激如何驱动人脑活动是认知计算神经科学中的核心问题[17,23,15,9]。深

度学习和系统神经科学的必威体育精装版进展产生了将丰富的刺激特征映射到分布式皮层反应的模型。

Algonauts项目2025旨在通过提供一个大型公开数据集和明确的社区基准，支持该领域的进

步，以预测来自自然电影刺激的fMRIBOLD信号[4,12]。借助共同的数据集、标准化指标

以及协作挑战格式，该项目允许研究人员进行思想的直接比较，并推动方法的发展，从而更

准确地解释大脑如何解读现实世界，使这些解释更具生物学基础。

我们的贡献。在此报告中，我们展示了在Algonauts2025挑战赛中获得第三名的编码模型。

我们的主要贡献包括（i）一个多模态RNN架构，该架构融合了来自大规模预训练模型的视

觉、听觉和文本嵌入，并将每个输入序列映射到感兴趣区域(ROI)的BOLD反应序列；(ii)

一种课程加权损失，该损失逐步重新聚焦训练目标，从早期的视觉和体感运动区转向更高级

的脑区，模仿大脑的层级处理动力学；以及（iii）一个由100个模型组成的集成，其预测平

Correspondingauthor:seren@cbs.mpg.de

Codeavailableat/er