基于多模态融合的多图表问答方法研究.pdfVIP

摘要

摘要

数据可视化，如柱形图、饼图、折线图等，已经成为文本理解和分析复杂数据

的重要工具。这些图表以直观易懂的形式展示了大量信息，通过将数据整理成易

于理解的视觉形式，可以将数据中的趋势变化，异常信息等内容直观地表现出来。

尽管图表在信息化社会中扮演着很重要的角色。图表问答领域的研究仍然存

在许多不足，具体分析如下：首先，在数据集层面，现有的图表问答数据集都是

针对单张图表的，然而针对多张图表进行提问更加符合现实生活中的情景。多图

表问答往往涉及到更加复杂的推理过程，这也给当前的图表问答方法提出了挑战。

其次，在方法层面，现有的方法存在两方面的问题。一方面，现有方法没有对图表

视觉元素之间的空间语义关系进行建模。这些语义信息对于回答问题是非常重要

的。另一方面，由于没有对推理过程进行建模，现有方法在复杂推理问题上往往

无法取得很好的效果。

针对数据集的不足，本文在现有的单图表问答数据集基础上构建了多图表问

答数据集。针对方法的不足，本文提出了基于多尺度共注意力的图神经网络推理

模型。针对图表视觉元素之间空间语义关联的建模问题，本文尝试使用辅助任务

模块和空间语义图编码器模块来建模图表视觉元素间的位置关系和语义关联。

针对推理过程的建模问题，本文提出了基于特征掩码的图神经网络推理模型，

该模型首先将图表表示为图结构，然后结合文本模态为图中的节点特征生成掩码

向量。通过掩码向量寻找每一步推理中需要的视觉特征，从而驱使与问题相关联

的视觉元素在图结构上进行特征传播。

最后，本文在提出的多图表数据集上进行了大量实验。实验结果表明，本文所

提出的两个模型能够很好地捕捉多图表视觉元素间的空间语义关系，并能较好地

回答复杂的推理问题。从而在各种类型的多图表问答任务上都取得了很好的效果。

关键词：多图表问答；视觉问答；图神经网络；多模态

-I-

Abstract

Abstract

Datavisualization,suchaslinecharts,barcharts,andpiecharts,hasbecomean

essentialtoolfortextcomprehensionandcomplexdataanalysis.Thesechartspresenta

wealthofinformationinanintuitiveandunderstandableform,displayingtrends,anoma-

lies,andothercontentinthedatainavisuallyintuitiveway.

Despitethesignificantrolethatchartsplayintheinformationsociety,therearestill

manyshortcomingsinthefieldofchartquestionanswering,specifically:Firstly,atthe

datasetlevel,existingchartquestionansweringdatasetsarealldesignedforsinglecharts.

However,askingquestionsaboutmultiplechartsismoreinlinewithreal-lifescenarios.

Multi-chartquestionansweringofteninvolvesmorecomplexreasoningprocesses,which

poseschallengestocurrentchartquestionansweringmethods.Secondly,atthemethod

level,therearetwomainproblemswithexistingmethods.On