- 1、本文档共11页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
VIBE:视频输入大脑编码器
丹尼尔·卡尔斯特罗姆·
沙德*1
schad@cbs.mpg.de
雪瑞·迪克西特*1,2
dixit@cbs.mpg.de
珍妮斯·克克*1,3,5
janis.keck@maxplanckschools.de
维克托·斯图登亚克*1,5
studenyak@cbs.mpg.de
1
阿列克桑德r斯皮列沃伊
ashpilevoii@
AndrejBicanski1,4
bicanski@cbs.mpg.de
本
译
中
1
v
8
5
9
7
1
.
7
0
5
2
:
v
i
x
r
a
1
VIBE:VIDEO-I输入B雨E编码器用于fMRI响应建模
*
Equalcontribution
1MaxPlanckInstituteforHumanCognitiveandBrainSciences,Leipzig,Germany
2InstituteofComputationalNeuroscience,UniversityMedicalCenterHamburg-Eppendorf,Hamburg,Germany
3MaxPlanckInstituteforMathematicsintheSciences,Leipzig,Germany
4ScaDS.AI-CenterforScalableDataAnalyticsandArtificialIntelligence,Leipzig,Germany
5MaxPlanckSchoolofCognition,Leipzig,Germany
2025年7月25日
ABSTRACT
我们提出了VIBE,一个两阶段的Transformer,它融合多模态视频、音频和文本特征以
预测fMRI活动。来自开源模型(Qwen2.5、BEATs、Whisper、SlowFast、V-JEPA)的表
示由一个多模态融合Transformer合并,并通过带有旋转嵌入的预测Transformer进行时
间解码。在CNeuroMod数据集上的65小时电影数据上训练并跨20个种子集成,VIBE
在分布内的FriendsS07中获得了均值分块Pearson相关系数为32.25,在六个分布外影片
中获得21.25。同一架构的早期版本分别获得了0.3198和0.2096,在Algonauts2025挑战
赛中赢得了第一阶段,并总体上排名第二。
Keywords多模态表示学习功能磁共振成像预测神经编码变换器功能脑网络
1介绍
人类处理不断流动的感觉信息,不同的感觉模式首先由初级感觉皮层处理,然后在多模态联合皮层中结
合以创建经验的综合表示。这种前馈流伴随
文档评论(0)