HW-MLVQA：阐明多语言手写文档理解的综合视觉问答基准测试附录-计算机科学-视觉问答-自然语言处理-文档理解.pdfVIP

HW-MLVQA：阐明多语言手写文档理解的综合视觉问答基

准测试附录

AniketPal,AjoyMondal,MineshMathew,C.V.Jawahar

CVIT,IIITHyderabad.

*Correspondingauthor(s).E-mail(s):aniket.pal@research.iiit.ac.in;

Contributingauthors:ajoy.mondal@iiit.ac.in;minesh.mathew@;

jawahar@iiit.ac.in;

本

摘要

译多语言视觉问答（MLVQA）基准的增多增强了大型语言模型（LLMs）和多模态LLMs的能力，从而使它

中们能够熟练地捕捉到不同语言中固有的复杂语言细微之处和视觉复杂性。尽管具有潜力，当前的MLVQA

模型在处理广泛的handwriting文档时难以充分利用其能力。本文概述了硬件-多选视觉问答，这是一个

1精心设计的前沿VQA基准，旨在缓解多语言手写文档理解的匮乏问题。硬件多选视觉问题回答包含了

v一个庞大的1,600页手写内容集合，并附带2,400问题答案。此外，它提供了一个涵盖三种不同的模

5式：文本、图像以及集成的图文模式的强大基准评估框架。为了模拟没有地面真实文本转录的真实世界

5情境，我们实现了一种严格的专有和开源的OCR模型测试方法。该基准旨在促进多语言手写文档解释的

6

5关键进展，在这个专业化领域内推动创新和学术研究。

1

.Keywords:多语言的、手写的、基准、自然语言处理（NLP）、问答、文档理解。

7

0

5

2

:1介绍为了减轻视觉语言任务中固有的语言障碍，

v

i多语言视觉问答（ML-VQA）[3–5]被提出，从

x在当今时代，视觉问答（VQA）领域[1,2]

r而促进模型理解并回答用多种语言表述的问题。

a已经取得了显著的进步，这得益于对能够通过

例如，Deepak等人士。[6]开创了一个创新的数

自然语言识别和参与视觉内容的方法日益增长据集，该数据集涵盖了英语和印地语的代码混

的需求。作为一种本质上跨学科的倡议，VQA合视觉问答（VQA）。当代的进步催生了具有精

结合了计算机视觉和自然语言处理来解释并回细标注协议的数据集[3,4]，从而增强了VQA

应关于视觉刺激的问题。尽管有了这些发展，但系统的功能和适用性。此外，Nguyen等人。[5]

仍存在一个主要限制，即现有的VQA框架主要将VQA研究范围扩大到了包括越南语和日语

服务于键入的文本输入，并且局限于单语言支等语言学上代表性不足的语言。

持，因此产生了两个障碍导致可访问性的显著在处理多种手写复杂性问题时，提出了手

差异：一是多语言问题，二是解读复杂手写格写VQA任务[7]以促进对手写文档的解释，强

式的内容。

1

调复杂的和各种手写风格。两个新数据