基于多模态公共电子健康记录的 Foundation 模型基准测试-计算机科学-可信人工智能-基础模型-视觉语言模型-电子健康记录.pdfVIP

IEEETRANSACTIONSANDJOURNALSTEMPLATE1

基于多模态公共电子健康记录的Foundation

模型基准测试

KunyuYu,RuiYang,JingchiLiao,SiqiLi,HuitaoLi,IreneLi,YifanPeng,RishikesanKamaleswaran,andNanLiu,

SeniorMember,IEEE

Abstract—基础模型作为处理电子健康记录（EHR）的强大LECTRONIC健康记录（EHRs）通过系统地收

方法已经崭露头角，提供了灵活性以应对多种医疗数据模式。在E集患者信息来支持现代医疗保健系统的根本数据

这项研究中，我们介绍了一个综合基准测试，评估了基础模型在

基础设施，以促进有效的临床管理和医疗服务交付[1]。

本使用公开可用的MIMIC-IV数据库时，作为单模态编码器和多模

译态学习者的性能、公平性和可解释性。为了支持一致且可重复的EHRs包括来自不同医疗环境的纵向、异构数据，包括

评估，我们开发了一个标准化的数据处理管道，将异构临床记录人口统计学、生命体征、诊断结果、药物、成像和临床

中统一为分析就绪格式。我们系统地比较了八种基础模型，包括单笔记，提供患者健康历史的全面见解[2],[3]。EHR系

1模态和多模态模型以及特定领域和通用变体。我们的研究结果表统的广泛应用不仅提高了医疗保健质量，还解锁了大量

v明，结合多种数据模式可以持续提升预测性能而不会引入额外的

4偏见。虽然针对领域的微调为单模态基础模型提供了一种成本有数据资源，使跨不同患者群体识别临床模式成为可能，

2

8效的解决方案，但这种有效性并未很好地转化为多模态场景。此并生成更可靠且更具普遍性的实际证据[1]。

4外，我们的实验揭示了当前大型视觉语言模型（LVLMs）的任务然而，围绕敏感临床数据的隐私问题对跨机构数据

1泛化能力有限，强调了需要更灵活和稳健的医疗LVLMs。通过

7.这一基准测试，我们旨在支持有效且值得信赖的多模态人工智能共享和协作研究提出了重大挑战[4]。为减轻这些挑战，

0（AI）系统的发展，以应用于真实世界的临床应用。我们的代码可已建立了大规模公共EHR数据库，如MIMIC-IV[5]。

5

2在/nliulab/MIMIC-Multimodal获取。通过实施严格的去识别策略和认证访问协议，这些数据

:

vIndexTerms—人工智能，基础模型，大规模视觉语言模型，库促进了广泛临床数据的更民主化和安全访问，从而推

i多模态电子健康记录，可信人工智能动了基于数据的医疗AI解决方案的发展[6]。尽管有

x

r

a这些益处，异构数据集的整理与协调仍然是关键的技

I.介绍术挑战，主要是由于复杂的数据链接和不一致的数据

质量[7]。

随着人工智能（AI）的迅速发展，基础模型作为一

ThisworkwassupportedbytheDuke-NUSSignatureResearchPro-

种变革性的方法出现了，能够高效解析电子健康记录数

grammefundedbytheMinistryofHealth,Singapore.(Correspondingautho