用于放射学视觉问题回答中复杂推理的多智能体系统.pdfVIP

用于放射学视觉问题回答中复杂推理的多智能体系统

APreprint

ZiruoYiJinyuLiuTingXiao

UniversityofNorthTexasUniversityofNorthTexasUniversityofNorthTexas

ziruoyi@jinyuliu@ting.xiao@

MarkV.Albert

UniversityofNorthTexas

mark.albert@

本

译2025年8月7日

中

Abstract

1

v

1放射学视觉问答（RVQA）为胸部X光图像的问题提供精确答案，从而减轻了放射科医生的

4

8工作负担。尽管基于多模态大语言模型（MLLMs）和检索增强生成（RAG）的最近方法在

2RVQA方面显示出令人鼓舞的进步，但它们仍然面临着事实准确性、幻觉以及跨模式不对齐

0.等挑战。我们引入了一个多智能体系统（MAS），旨在支持RVQA中的复杂推理，该系统包

8含专门用于上下文理解、多模态推理和答案验证的智能体。我们在一个通过模型分歧过滤精

0

5心策划的具有挑战性的RVQA数据集上评估了我们的系统，该数据集包括多个MLLMs中

2始终难以处理的情况。广泛的实验表明，与强大的MLLM基线相比，我们的系统表现出优

:

v越性和有效性，并通过案例研究展示了其可靠性和可解释性。这项工作突显了多智能体方法

i

x在支持需要复杂推理的可解释和值得信赖的临床AI应用方面的潜力。

r

a

Keywords放射学视觉问答复杂推理多模态大型语言模型多智能体系统检索增强生成

1介绍

在现代医疗保健中，放射学在诊断、结果预测和治疗计划中起着至关重要的作用。它依赖于多样化的数据来

源，如胸部X光图像、临床笔记和实验室测试。在放射学中的各种多模态任务中，放射视觉问答（RVQA）

特别有价值，因为它能够提供关于胸部X光图像[1]的准确答案并减少重复性工作，从而减轻放射科医生的

工作负担[2]。然而，许多现有的RVQA基准主要关注相对简单的问题格式和推理类型。例如，VQA-RAD[3]

和Slake[4]主要包含是/否或开放式问题，任务类型或推理复杂度的多样性有限。尽管像EHRXQA[5]这样的

新数据集提供了更大的规模和更多样化的问题模板，但缺乏专家级的答案解释限制了它们评估模型复杂推理

能力的能力。现有基准主要包含只需要基本推理的问题，而现实世界的RVQA场景涉及微妙的视觉线索、多

步推理以及领域知识整合，这为当前模型的复杂推理能力提出了重大挑战。这一差距凸显了迫切需要能够处

理复杂的、与临床相一致的多模态输入推理的RVQA系统。

随着人工智能（AI）、计算机视觉（CV）和自然语言处理（NLP）的必威体育精装版进展，多模态学习已成为整合和分

析多种数据来源的强大范式[6,7]。由大型语言模型（LLMs）和大型视觉模型（LVMs），如GPT-4o[8]、

用于放射学视觉问题回答中复杂推理的多智能体系统APreprint

LLaMA3[9]和DALL·E3[10]驱动的最近多模态大型语言模型（MLLMs）在包括图像描述生成[11]和

视觉-语言对话[12]等一系列任务中展现了令人鼓舞的结果。在医疗保健领域，多模态大语言模型（如Med-

PaLM2[13