利用医学数据的结构改进表示学习-计算机科学-医疗人工智能.pdfVIP

利用医学数据的结构改进表示学习

*1*1*1*1

AndreaAgostiniSoniaLagunaAlainRyserSamuelRuiperez-Campillo

1222

MoritzVandenhirtzNicolasDeperroisFarhadNooralahzadehMichaelKrauthammer

†1†1

ThomasM.SutterJuliaE.Vogt

Abstract1.介绍

基础模型的进步激发了对临床人工智能的兴趣，然

而医学领域的数据现实与推动视觉语言巨模的互联

构建可泛化的医疗人工智能系统需要高效网可获取语料库截然不同。在医疗领域内，在流行的

本利用数据且具备领域意识的预训练策略。放射学领域中，胸部X光片集合如MIMIC-CXR包

译与互联网规模语料库不同，临床数据集如含数十万张图像——而非数十亿，并且每一条专家

中MIMIC-CXR提供的图像数量有限且标注标注都伴随着巨大的经济和时间成本(Hassanzadeh

稀缺，但通过多视角成像展现出丰富的内etal.,2018)。因此，前沿的通用模型在领域基准上

3

v部结构。我们提出了一种自监督框架，利仍然落后于专家，并且在实际应用中的微调或部署

7用医学数据集的内在结构。具体来说，我依旧成本高昂(Chavesetal.,2024)。为了学习有信

8

9们将配对的胸部X光片（即前后位和侧位）息量的表示而不承担那些昂贵的医疗标签费用，自

2

0视为自然正样本对，在从稀疏补丁中重构监督学习已经作为一个有用的方法出现(Tiuetal.,

.

7每个视图的同时对其潜在嵌入进行对齐。2022;Azizietal.,2021)。在众多方法中，针对领域

0我们的方法不需要文本监督，并生成具有的遮罩自动编码器（重建隐藏补丁）和补充对比目

5

2信息量的表示。在MIMIC-CXR上进行了标（区分潜在视图）已被证明有效于从未标记检查

:

v评估，我们展示了与有监督目标及未利用中提炼丰富的特征(Xiaoetal.,2023)。重要的是，

i

x结构训练的基线相比更强的表现力。这项这些技术在预文本任务、可见补丁比例以及增强方

r

a工作提供了一种轻量级、模态无关的特定法围绕医学图像的有限规模和解剖学规律重新设计

领域预训练蓝图，在数据结构化但稀缺的时最为有效(MoLiang,2024)。

情况下尤为适用。

超越