暴露并减轻 MLLM 少样本上下文学习在医学图像分类中的校准偏差和人口不公平性-计算机科学-多模态大型语言模型-医疗图像分析-公平性.pdf

暴露并减轻MLLM少样本上下文学习在医学图像分

类中的校准偏差和人口不公平性

XingShen,JustinSzeto,MingyangLi,HengguanHuang,and

TalArbel

CentreforIntelligentMachines,McGillUniversity,Montreal,Canada

xing.shen@mail.mcgill.ca,tal.arbel@mcgill.ca

Mila–QuebecAIInstitute,Montreal,Canada

StanfordUniversity,Stanford,USA

本UniversityofCopenhagen,Copenhagen,Denmark

hengguan.huang@sund.ku.dk

译

中

3摘要多模态大型语言模型（MLLMs）在医疗图像分析的上下文中进行少

v样本情境学习方面具有巨大的潜力。然而，将这些模型安全地部署到实际临

8

9床实践中需要对它们预测的准确性及其相关校准误差进行深入分析，尤其

2是在不同的人口统计子组中。在这项工作中，我们首次探讨了MLLMs在少

3

2样本情境学习中的医疗图像分类预测和置信分数的校准偏差及人口统计不

.公平性。我们引入了卡林，这是一种设计用于缓解相关偏差的推理时校准方

6

0法。具体来说，CALIN通过两级过程估计所需的校准量，用校准矩阵表示：

5在校准前从群体层面进展到子组层面。然后在推理过程中应用此估算来校

2

:准预测置信分数。我们在三个医疗图像数据集上的实验结果证明了CALIN

v确保公平的置信度校准、提高整体预测准确性并展示最小的公平性-效用权

i

x衡的有效性：PAPILA用于视网膜图像分类，HAM10000用于皮肤癌分

r

a类，MIMIC-CXR用于胸部X光片分类。我们的代码库可以在https://

/xingbpshen/medical-calibration-fairness-mllm找到。

Keywords:公平性·偏差·置信度校准·不确定性·基础模型·大型

语言模型

1介绍

图像-文本到文本的基础模型，尤其是多模态大型语言模型（MLLMs，

或称为大型多模态模型，LMMs），例如OpenAIGPT-4o和GoogleGem-

ini[8,19]，已经展示了强大的泛化能力，并在众多任务中达到了最先进的性

2X.Shenetal.

能。此外，少样本上下文学习（FS-ICL）的进步使MLLMs能够通过简单地与

少量的问题答案对提示进行交互来