VIBE:VIDEO-I 输入 B 雨 E 编码器用于 fMRI 响应建模-计算机科学-多模态表示学习-磁共振成像预测.pdfVIP

VIBE:VIDEO-I 输入 B 雨 E 编码器用于 fMRI 响应建模-计算机科学-多模态表示学习-磁共振成像预测.pdf

  1. 1、本文档共11页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

VIBE:视频输入大脑编码器

丹尼尔·卡尔斯特罗姆·

沙德*1

schad@cbs.mpg.de

雪瑞·迪克西特*1,2

dixit@cbs.mpg.de

珍妮斯·克克*1,3,5

janis.keck@maxplanckschools.de

维克托·斯图登亚克*1,5

studenyak@cbs.mpg.de

1

阿列克桑德r斯皮列沃伊

ashpilevoii@

AndrejBicanski1,4

bicanski@cbs.mpg.de

1

v

8

5

9

7

1

.

7

0

5

2

:

v

i

x

r

a

1

VIBE:VIDEO-I输入B雨E编码器用于fMRI响应建模

*

Equalcontribution

1MaxPlanckInstituteforHumanCognitiveandBrainSciences,Leipzig,Germany

2InstituteofComputationalNeuroscience,UniversityMedicalCenterHamburg-Eppendorf,Hamburg,Germany

3MaxPlanckInstituteforMathematicsintheSciences,Leipzig,Germany

4ScaDS.AI-CenterforScalableDataAnalyticsandArtificialIntelligence,Leipzig,Germany

5MaxPlanckSchoolofCognition,Leipzig,Germany

2025年7月25日

ABSTRACT

我们提出了VIBE,一个两阶段的Transformer,它融合多模态视频、音频和文本特征以

预测fMRI活动。来自开源模型(Qwen2.5、BEATs、Whisper、SlowFast、V-JEPA)的表

示由一个多模态融合Transformer合并,并通过带有旋转嵌入的预测Transformer进行时

间解码。在CNeuroMod数据集上的65小时电影数据上训练并跨20个种子集成,VIBE

在分布内的FriendsS07中获得了均值分块Pearson相关系数为32.25,在六个分布外影片

中获得21.25。同一架构的早期版本分别获得了0.3198和0.2096,在Algonauts2025挑战

赛中赢得了第一阶段,并总体上排名第二。

Keywords多模态表示学习功能磁共振成像预测神经编码变换器功能脑网络

1介绍

人类处理不断流动的感觉信息,不同的感觉模式首先由初级感觉皮层处理,然后在多模态联合皮层中结

合以创建经验的综合表示。这种前馈流伴随

文档评论(0)

zikele + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档