多模态人工智能在胃肠诊断中的应用：解决 MEDVQA-GI 2025 中的视觉问答问题-计算机科学-医学视觉问答-多模态人工智能.pdfVIP

多模态人工智能在胃肠诊断中的应用：解决

MEDVQA-GI2025中的视觉问答问题

112

SujataGaihre,AmirThapaMagar,PrasunaPokharel,and

LaxmiTiwari3

本1NCIT,Nepal

译2Fusemachine,Nepal

中3LogictronixTechnologies,Nepal

1

v

4

4摘要

5

4本文描述了我们对ImageCLEFmedMEDVQA2025挑战赛子任务1

1

.的方法，该任务旨在解决胃肠内镜的视觉问题回答（VQA）。我们采用佛罗

7伦萨模型——一个大规模多模态基础模型——作为我们的VQA管道的核

0

5心，将强大的视觉编码器与文本编码器配对以解释内窥镜图像并生成临床

2相关的答案。为了提高泛化能力，我们应用了特定领域的增强技术，在增

:

v加训练多样性的同时保留医学特征。在KASVIR数据集上的实验表明，微

i

x调佛罗伦萨模型可获得官方挑战度量的准确响应。我们的结果突显了大规

r

a模多模态模型在医疗VQA中的潜力，并为未来的工作提供了强有力的基

线，特别是在解释性、鲁棒性和临床整合方面。代码可在以下位置公开获取：

/TiwariLaxuu/VQA-Florence.git。

关键词：医学视觉问答，ImageCLEFmed2025，多模态人工智能，临床问

题解答

1介绍

早期胃肠疾病（GI）的检测和治疗依赖于对内镜图像的准确解释。深度

学习的必威体育精装版进展为自动化这一分析提供了有希望的解决方案，使及时且可

靠的诊断成为可能。视觉问答（VQA）通过将图像理解与自然语言查询相结

1

合，进一步增强了这些系统，提供可操作的临床见解[7,8]。合成图像生成

也发挥了关键作用，通过扩展训练数据而无需大量手动标注。

ImageCLEFmedMEDVQA2025挑战赛鼓励该领域的进步，其中子任

务1专门针对消化内镜的视觉问答。我们提出了一种可重复使用的流程，利

用多模态基础模型来回答与临床相关的问题。我们的方法表明，精心设计的

数据增强和简化的微调可以产生准确的结果，并且对研究社区保持易用性。

2相关工作

VQA在过去十年中有了显著的发展，越来越重视减少数据集偏差并确

保答案具有视觉依据[23]。早期的VQA模型通过利用问题中的统计模式表

现出高性能，而不是真正解释图像的内容——这在将此类模型应用于医学

诊断等敏感领域时是一个关键缺陷。

医学视觉问答（Med-VQA）随着计算机视觉和自然语言处理的进步而

迅速发展。传统的Med-VQA方法包括模态集成视觉特征（MEVF），该方

法整合了跨模式的视觉线索，结合双线性注意力网络（BAN），这是一种使

用低秩双线性池化建模图像-问题互动的技术。条件推理（CR）[24]，以及