跨语言问答——WANA：一种用于信息检索问答的基准，在 WestAisia 和 NorthAfrica 的语言中-计算机科学-机器学习-数据收集.pdfVIP

跨语言问答——WANA：一种用于信息检索问答的基准，在WestAisia

和NorthAfrica的语言中

ParkerRileySiamakShakeriWaleedAmmarJonathanH.Clark

GoogleGoogleHolisticIntelligenceforGoogle

GlobalGood

Abstract估带来了挑战，因为大多数信息检索数据集并

没有设计来测试模型利用如此大的上下文窗口

我们提出了TYDIQA–WANA，这是一

个包含28K个示例的问题回答数据集，的能力。

1

这些示例分布在西亚和北非的10种语言我们试图通过创建和发布来解决这些问

变体中。数据收集过程旨在激发信息寻题，该数据集包含西亚和北非地区代表性不足

求类型的问题，即提问者真诚地想知道的非英语种中的长上下文信息检索问题，风格

本答案。每个问题都配有一篇可能含有也类似于TYDI问答(Clarketal.,2020)，我们称

可能不含答案的文章；文章相对较大的

译之为TYDIQA–WANA。我们还展示了基线结

规模使得该任务适合评估模型利用大文

中本上下文回答问题的能力。此外，数据果，表明现代LLMs能够通过在输入中包含一

1直接在每种语言变体中进行收集，未使篇完整的维基百科文章来回答问题，这是由于

v

9用翻译，以避免文化相关性的问题。我近期长上下文建模技术的进步而成为可能的。

0们展示了两个基线模型的性能，并发布本文的其余部分组织如下。首先，我们定

7

7了我们的代码和数据，以促进研究社区义长上下文信息检索问答任务（§2）。接下来，

1

7.进一步改进。我们描述数据是如何创建的（§3）。然后我们概

0述了本研究解决的先前工作中的空白（§4），并

51介绍记录了选择纳入我们数据集的语言变体（§5）。

2

:

v许多用户经常使用技术来帮助他们回答信为了量化这些贡献，我们展示了数据集的基本

i

x息检索类型的问题，即用户不知道答案但希望统计信息（§6），描述了一个评估程序（§7），并

r

a

得到解答的问题。在开发用于回答这些问题的呈现了基线系统的结果（§9）。

系统时，提高质量需要能够通过值得信赖且具

2任务定义

有挑战性的评估来可靠地衡量它。对于衡量回

答英语问题的表现，有多个评估数据集可用。在这项工作中，我们采用了来自Clarketal.

也有一些非英语语言的数据集可用，但它们只(2020)的单一任务：最小答案跨度任务（简称