COREVQA：一个群体观察与推理蕴含的视觉问题回答基准测试-计算机科学-视觉语言模型-视觉问题回答.pdf

COREVQA：一个群体观察与推理蕴含的视觉问题回答基准测试

†††

IshantChintapatlaKazumaChojiNaaishaAgarwalAndrewLinHannahYou

°°°°

CharlesDuongKevinZhuSeanO’BrienVasuSharma

†同等贡献AlgoverseAI研究所°同等资深作者

Abstract1.介绍

视觉语言模型（VLM），如GPT-4.1(Achiametal.,

最近，许多基准测试和数据集被开发出来，2023)和Gemini2.5Pro(Cloud)，在图像理解和多

用于通过视觉问题回答（VQA）对视觉语模态任务完成方面展现出了卓越的能力(Lietal.,

言模型（VLMs）进行评估，并且这些模型2025)。随着VLM变得越来越复杂，对评估深度

本在准确性方面显示出显著的提升。然而，这视觉和文本理解的严格方法的需求变得愈发重要。

译些基准很少测试模型准确完成视觉蕴含的(Huangetal.,2023;Agrawaletal.,2018;Goyal

中能力，例如根据图像接受或反驳假设。为etal.,2017)。

1了解决这个问题，我们提出了COREVQA然而，尽管提供了多种任务，现有的视觉语言模型

v（CrowdObservationsandReasoningEn-

5评估基准通常在评估对自然情境和分析的细微理解

0tailment），这是一个包含5608张图像和

4合成生成的真假陈述对的数据集，图像和深入理解方面表现不足，主要是因为图像/问题

3过于简单且易于理解。这些限制意味着模型可能通

1来源于CrowdHuman数据集(Shaoetal.,

.过利用表面线索或依赖参数知识而成功（并继续成

72018)，旨在挑战拥挤场景下的视觉蕴含推

0功），而无需进行稳健的视觉处理。这种影响阻碍了

5理能力。我们的结果显示，即使是表现最

2VLM的进步，原因是缺乏稳健的多模态推理评估

:好的VLMs的准确率也低于80%，其他模

v(Lietal.,2025;Guanetal.,2024)。

i型的表现则更差（39.98%-69.95%）。这一

x显著的性能差距揭示了VLMs在处理某些为了填补视觉语言模型评估中的这一空白，我们提

r

a类型的图像-问题对时，在拥挤场景中进行出了COREVQA（群体观察与推理蕴含的视觉问答）

推理能力上的关键限制。