Pixel Perfect MegaMed: 一个兆像素级的视觉-语言基础模型，用于生成高分辨率医学图像-计算机科学-医学图像合成-机器学习.pdfVIP

PixelPerfectMegaMed:一个兆像素级的视觉-语言基

础模型，用于生成高分辨率医学图像

ZahraTehraniNasabAmarKumar

McGillUniversityMcGillUniversity

MILA-QuebecAIInstituteMILA-QuebecAIInstitute

zahra.tehraninasab@mail.mcgill.caamar.kumar@mail.mcgill.ca

TalArbel

McGillUniversity

本MILA-QuebecAIInstitute

译tal.arbel@mcgill.ca

中

1

vAbstract

8

9医学图像合成由于临床环境中固有的复杂性和所需的高分辨率细节，面临

6

2着独特的挑战。传统的生成架构如生成对抗网络（GANs）或变分自动编码

1器（VAEs）虽然在生成高分辨率图像方面显示出巨大的潜力，但在保持关

.

7键的细粒度细节以确保准确诊断方面存在困难。为了解决这个问题，我们引

0入了像素完美的MegaMed，这是第一个用于合成分辨率为的视

5

2觉语言基础模型。我们的方法部署了一种专门为超高分辨率医学图像生成

:

v设计的多尺度变压器架构，能够同时保留全局解剖上下文和局部图像细节。

i通过利用针对医疗术语和成像模式定制的视图-语言对齐技术，像素完美的

x

rMegaMed在前所未有的分辨率水平上弥合了文本描述与视觉表示之间的差

a

距。我们将该模型应用于CheXpert数据集，并展示了其从文本提示生成临

床忠实胸部X光片的能力。除了视觉质量之外，这些高分辨率合成图像对

于分类等下游任务也证明具有价值，在用于数据增强时显示出可测量的性

能提升，特别是在低数据环境下的表现尤为明显。我们的代码可通过项目网

1

站获取。

1介绍

高分辨率的医学图像对于许多依赖于分辨精细解剖和病理特征能力的临床决策支持系统是

必需的。考虑到其在胸部X光片中的重要性，其中细微异常——如小肺结节、细小模式或早

期胸膜变化——在较高分辨率下更容易被识别Haqueetal.[2023],Jiangetal.[2025]。由AI驱

动的诊断系统应保持图像高分辨率（如果可用），以保存可能在较低分辨率下丢失的重要纹

理和边缘信息Miyataetal.[2020],Schuijfetal.[2022],Yanagawaetal.[2018]。例如，在检测胸

腔积液时，区分胸膜线——一个关键的诊断指标——可能在低分辨率下无法被识别，但在存

在足够的空间细节时变得可见（参