DS@GT 在 CheckThat! 2025 中：评估数值事实验证的上 下文和分词策略 CheckThat! 实验室在 CLEF 2025 的笔记本检查笔记-计算机科学-机器学习-自动事实核查系统.pdfVIP

DS@GT在CheckThat!2025中：评估数值事实验证的上

下文和分词策略

CheckThat!实验室在CLEF2025的笔记本检查笔记

1,∗,†1,†

MaximilianHeil,AleksandarPramov

1GeorgiaInstituteofTechnology,NorthAveNW,Atlanta,GA30332

Abstract

数值声明——涉及数量、比较和时间参考的陈述——为自动事实核查系统带来了独特的挑战。在本研究中，我们使用QuanTemp

数据集并构建自己的证据检索管道来评估此类声明真实性预测的建模策略。我们调查了三个关键因素：（1）使用ModernBERT

时更长输入上下文窗口的影响，（2）从右到左(R2L)分词的效果，以及（3）它们对分类性能的综合影响。与算术推理任务中

的先前研究结果相反，R2L分词并不会提高数值任务的自然语言推理(NLI)能力。较长的上下文窗口也不会增强真实性表现，

这突出了证据质量为主要瓶颈。我们最佳的表现系统在宏观平均F1分数上达到了0.57的竞争水平，并且使我们在CheckThat!

2025的任务3中跻身前四提交之列。我们的代码可以在/dsgt-arc/checkthat-2025-numerical获得。

Keywords

Transformer,检索,ModernBERT,分词,上下文窗口,数值理解,事实核查,CEUR-WS

本

译1.介绍

中在更广泛的自动事实核查系统范围内，CLEFCheckThat!2025版通过其不同的任务，调查了此类系

1统典型管道每个组件的最佳实践：从建立声明的检查价值、经过声明规范化到最后证据检索和自然

v语言推断。[1,2]特别是第3项任务，关注于自动验证数值和时间性声明的系统[3,4]。数值错误信

5

9息——涉及统计数据、比较、区间和时间表达式的声明——对自动化事实核查系统构成了独特的挑

1战。尽管神经架构的进步和大规模数据集的可用性显著提高了普通文本中声明验证的效果，但验证

6数值声明仍然是一个较少探索且难度大得多的问题。鉴于已记录的“数字真实效应”，即数字的存

0.在为错误信息赋予了虚假的可信度[5]，这一点尤其重要。

7为此，验证CheckThat!任务3采用了QuanTemp数据集，该数据集作为首个专门用于数值和

0时间声明验证的大规模真实世界基准而被引入[6]。从全球45个事实核查组织收集而来，包含超过

5

215,000条带有细粒度标签—真、假或矛盾—的多样化主张，并且附带了一个由超过423,000个特别解

:析过的证据片段组成的网络来源证据语料库。该数据集涵盖了统计学、比较性、区间和时间类别，

v

i为评估和改进数值事实核查任务中的模型提供了一个全面的资源。我们的方法通过两个前提来探讨

x现有方法的改进：1）更多的证据和更长的上下文将提高模型的预测质量，前提是模型能够处理更长

r

a输入标记长度的较长上下文；2）认识到数字的分词方式对大型语言模型的抽象推理起着作用，并

且从左到右（L2R）切换为右到左（R2L）的数字分词可能会帮助即使是基于BERT的模型在数值主

张的真实性评估中取得进展[7]。为此，在我们的研究中，我们假设了以下三个研究问题（RQs）

RQ1更长的上下文（3对比9）是否能提高检索证据片段的真实性预测？

RQ2R2L-tokenization是否提升性能？

RQ3结合长上下文和R2L-标记化是否优于其他设置？

通过消融研究，我们利用专门适用于保持更长上下文的BERT架构ModernBERT[8]，以及应用

R2L数值标记化来回答每一个问题。此