DS@GT 在 CheckThat! 2025 中：探索用于社交媒体讨论 中科学声明来源检索的检索和重排序管道 CheckThat! 实验室在 CLEF 2025 的笔记本检查-计算机科学.pdfVIP

DS@GT在CheckThat!2025中：探索用于社交媒体讨论

中科学声明来源检索的检索和重排序管道

CheckThat!实验室在CLEF2025的笔记本检查

JeanetteSchofield,ShuyuTian,HoangThanhThanhTruongandMaximilianHeil1111,∗

1GeorgiaInstituteofTechnology,NorthAveNW,Atlanta,GA30332

Abstract

社交媒体用户经常在不引用来源的情况下做出科学声明，这产生了验证这些声明的需求。本文详细介绍了DS@GT团队为CLEF

2025CheckThat!实验室任务4b“基于推文中的隐含引用寻找相关科学论文”的工作。我们的团队探索了6种不同的数据

增强技术、7种不同的检索和重排序流水线，并微调了一个双编码器。以MRR@5为0.58的成绩，我们的团队在CLEF2025

CheckThat!实验室任务4b中排名30支队伍中的第16位，比BM25基准的0.43提高了0.15。我们的代码可以在Github上的

/dsgt-arc/checkthat-2025-swd/tree/main/subtask-4b获取。

Keywords

引用价值,科学相关讨论,社交媒体,数据增强,检索和重新排序,CEUR-WS

本

译1.介绍

中近年来，社交媒体上健康misinformation的传播已经成为一个问题，产生了对验证用户在社交媒体

上所做声明的需求[1]。CheckThat!任务4b，科学声明来源检索，试图通过要求用户从集合集中检

1

v索最相关的科学文章来支持其在社交媒体上的声明来解决这个问题。这是一个很难解决的挑战，因

3为社交媒体上使用的语言通常与构成集合集的科学文章所使用的语言有很大不同[2]。

6DS@GT团队探索了微调一个双编码器、6种不同的数据增强技术以及7种不同的检索和重新排

5序管道。我们的团队在CLEF2025CheckThat！实验室任务4b中排名第16位，共有30支队伍参赛，

6

0取得了MRR@5为0.58的成绩，比基线BM25的0.43提升了0.15。

.

7

02.相关工作

5

2

:首次于2018年推出，CheckThat!2025是第八次举办的CheckThat!实验室，该实验室专注于帮助自

v动化新闻核实过程的技术[3,4]。任务4b，科学声明来源检索，预测哪些科学文章与Twitter上用户

i

x有关COVID-19的讨论最相关。之前的CheckThat!实验室提供过与COVID相关的任务。2022年任

r

a务1，识别推文中的相关信息，目标是预测数据集中哪些与COVID-19相关的推文值得进行事实核

查[5,6]。来自CheckThat!2024的任务4，从梗图中检测英雄、恶棍和受害者的角色，要求参与者识

别梗图中实体的角色，其中许多梗图都与COVID-19有关[7]。

在引用来源以支持某个主张之前，首先需要确定是否有提出这样的主张。引用价值性是指判断

文本中是否存在遗漏的科学结果引用的问题。CiteWorth数据集[8]是为检测科学文本中的引用价值

性而设计的，包含110万个英文句子，其中有375,000个句子被设计为有价值的引用。使用CiteWorth

数据集训练的模型在处理社交媒体讨论中的科学引文任务时表现不佳[2]。SCiteTweets是一个由

1,261条推文和SciTweets数据集的一个子集组成的，用于检测社交媒体讨论中引用的数据集[9]。

3.数据

任务4b的组织者提供了三个数据集：两组查询推文，一组用于训练，另一组用于开发，以及CORD-19