GAN 和扩散模型生成 X 光图像的感知评估.pdfVIP

GAN和扩散模型生成X光图像的感知评估

GregorySchuit,DenisParra,Cecilia

Besa

PontificiaUniversidadCatólicadeChile,Chile

iHealth-InstitutoMilenioenIngenieríaeInteligenciaArtificialparalaSalud,

Chile

CENIA–CentroNacionaldeInteligenciaArtificial,Chile

{gkschuit,dparras,cbesa}@uc.cl

本摘要生成图像模型在自然和医学成像方面都取得了显著进展。在医疗背

译景下，这些技术为数据稀缺问题提供了一种潜在的解决方案——特别是对

中于那些影响人工智能驱动诊断和分割工具性能的低流行异常情况。然而，

关于合成图像的真实性和临床实用性的疑问仍然存在，因为较差的生成质

1

v量可能会损害模型的泛化能力和信任度。

8在这项研究中，我们评估了最先进的生成模型——生成对抗网络（GANs）

2

1和扩散模型（DMs）——在根据四种异常情况合成胸部X光片方面的有效

7性：肺不张（AT）、肺部混浊（LO）、胸腔积液（PE）以及心脏轮廓增大

0.（ECS）。使用由MIMIC-CXR数据集中的真实图像和来自GANs与DMs

8的合成图像组成的基准，我们进行了一项包含三位经验各异的放射科医生

0

5的读者研究。参与者被要求区分真实图像与合成图像，并评估视觉特征与

2目标异常之间的一致性。

:

v我们的结果表明，虽然DMs生成的图像在整体上更具视觉真实性，但GANs

i

x可以在特定条件下报告更高的准确性，例如ECS不存在的情况。我们进一

r步识别了放射科医生用来检测合成图像的视觉线索，为当前模型感知差距

a

提供了见解。这些发现突显了GANs和DMs互补的优势，并指出了为进

一步完善生成模型以确保其可靠地增强AI诊断系统的训练数据集的需求。

Keywords:医学成像·生成模型·胸部X光片·扩散模型·GANs

1介绍

近期生成式人工智能的进步在跨领域的图像合成方面取得了显著进展，

包括医学成像。这些模型——特别是生成对抗网络（GANs）[3]和扩散模型

（DMs）[7]——有可能解决医疗人工智能中的长期挑战，如罕见疾病的数据

稀缺问题以及为模型可解释性生成反事实解释的问题。

2G.Schuitetal.

虽然扩散模型最近在图像质量上超过了GAN，并且在胸部X光片（CXR）

生成[6]方面越来越受欢迎，但它们的临床可靠性仍处于探索阶段。大多数