基于空间的解释在视觉-语言模型中的文档视觉问答任务中的应用-计算机科学-文档智能-视觉问答-多模态推理-可解释性.pdfVIP

基于空间的解释在视觉-语言模型中的文档视觉问答

任务中的应用

MaximilianoHormazábal(),HéctorCerezo-Costas,and

DimosthenisKaratzas

ComputerVisionCenter,UniversitatAutònomadeBarcelona,Spain

{mhormazabal,dimos}@cvc.uab.es

Gradiant,Vigo,Galicia,Spain

hcerezo@

本

译摘要我们介绍了EaGERS，一个完全无需训练且模型无关的流水线，该

中管道（1）通过视觉语言模型生成自然语言解释，（2）通过在可配置网格上

1计算多模态嵌入相似性并采用多数投票来将这些解释定位到空间子区域，

v以及（3）仅从被选中的遮罩图像的相关区域中生成响应。

0

9在DocVQA数据集上的实验表明，我们最佳的配置不仅在精确匹配准确

4率和平均归一化Levenshtein相似度指标上超越了基础模型，而且还在无

2需额外模型微调的情况下提升了DocVQA的透明度和可重复性。代码可

1

.在以下位置获取：/maxhormazabal/EaGERS-DVQA

7

0

5Keywords:文档智能·视觉问答·多模态推理·可解释性

2

:

v

i

x1介绍

r

a

文档视觉问答（DocVQA）随着结合OCR、布局建模和领域适应的Trans-

former方法而迅速发展[1,7,4,14]。同时，通用视觉语言模型（VLMs）[19,11,8]

在没有明确的DocVQA训练情况下实现了强大的文档理解能力。

将现成的视觉语言模型部署到企业管道中通常涉及昂贵的微调、不稳定

的提示工程以及答案与源区域之间缺乏明确关联的问题[21]。为了解决这些

问题，我们引入了基于解释的区域选择（EaGERS），这是一个完全不受模

型影响且无需训练的DocVQA管道。该管道能够（i）生成自然语言解释，

（ii）通过多模态嵌入相似性和多数投票在可配置网格上选择顶级子区域，并

（iii）对掩码图像重新查询模型，从而确保答案仅源自那些经过验证的区域，

保证透明度和可重复性且无需额外的模型训练。

2M.Hormazábaletal.

我们解决的问题是：如何确保答案仅能从明确关联和表述的文档区域中

重建，而无需对VLM进行任何额外训练。

本工作的主要贡献是：

1.EaGERS：一个完全模型不可知且无需训练的DocVQA管道，能够使用

通用多模态模型生成对遮罩文档图像的答案。

2.文本解释与视觉遮罩的集成有助于推理的可追溯性和可解释性。

2相关工作

2.1文档视觉问答

近年来，DocVQA系统在DocVQA数据集[12]上取得了坚实的基础线，

一些方法结合了OC