DS@GT 在 CheckThat！上的应用 2025: 集成方法在社交媒体上检测科学话语的应用检查笔记本！CLEF 2025 实验室检查表-计算机科学-大语言模型-科学话语检测.pdfVIP

DS@GT在CheckThat！上的应用2025:集成方法在社交

媒体上检测科学话语的应用

检查笔记本！CLEF2025实验室检查表

AyushParikh,HoangThanhThanhTruong,JeanetteSchofieldandMaximilianHeil1111,∗

1GeorgiaInstituteofTechnology,NorthAveNW,Atlanta,GA30332

Abstract

在本文中，作为参加CLEF2025CheckThat!任务4a科学网络话语检测[1]的DS@GT团队，我们介绍了为这项任务探索的方

法。对于这个多类分类任务，我们判断一条推文中是否包含科学主张、对科学研究或出版物的引用以及/或者提及了诸如大学

或科学家之类的科学实体。我们提出了3种建模方法：Transformer微调、LLM的少量样本提示和一种组合集成模型的设计受

到早期实验的影响。我们的团队在比赛中排名第七，实现了0.8611的宏平均F1分数，比基准DeBERTaV30.8375有所提高。我

们的代码可在Github上找到/dsgt-arc/checkthat-2025-swd/tree/main/subtask-4a。

Keywords

微调,大型语言模型,集成模型,科学话语检测

本

译1.介绍

中如今，大量的科学讨论在线上进行。研究人员分享社交媒体帖子宣布他们的发现，并且个人经常

参与讨论这些结果的线程。许多这些科学发现都是在X平台上讨论的，该平台是一种社交媒体，其

1

v中的帖子被称为推文。建立一个能够确定推文的科学相关性的预测系统可以帮助检查推文的科学准

5确性。此外，它可以为研究人员提供关于其他人推文中提到（引用）他们的工作的数据。

0检查那!2025任务4a[1]询问推文中是否包含科学信息。如果确实包含，它会进一步询问该信息

2是指向一个科学主张（类别1），指向一项科学研究或出版物（类别2），还是提及了一个科学实体

6

0（类别3）。

.本文探讨了DS@GT团队为任务4a所做的工作。我们研究了使用大语言模型的transformer微

7

0调和零样本及少样本提示。我们在开发集上实现了0.86的宏平均F1分数，超过了基准DeBERTaV3

5的0.84。我们的提交在11支队伍中排名第6，根据宏平均F1分数。具体来说，在类别1（科学声明）

2中我们排名第7，在类别2（科学引用）中排名第5，在类别3（科学实体）中排名第4。我们的实现

:

v代码可以在/dsgt-arc/checkthat-2025-swd/tree/main/subtask-4a公开获取。

i

x

r2.相关工作

a

2.1.科学话语检测

在线检测科学话语的前期工作大致涵盖了声明检测、实体识别、引用识别和科学事实核查。

识别科学主张的任务与立场检测和事实性分类密切相关。早期的研究利用了大规模预训练语言

模型，如BERT和RoBERTa，在FEVER[2]数据集等主张验证数据集上进行微调，以在非结构化文本

中识别事实断言。这些方法通常会结合句法特征或利用外部知识库。

社交媒体文本中的实体识别传统上侧重于使用适应嘈杂和非正式语言的模型进行命名实体识

别（NER）。科学实体识别引入了额外的复杂性，因为它需要区分机构、研究人员以及特定领域的术

语。针对特定领域NER的研究，特别是在生物医学和学术语料库中，例如SciSpacy包[3]，已经发展

出的方法越来越多地被应用于社交媒体平台。对科学研究引用的识别，即提及或链接到科学研究的

文章，通过引文意图分类和替代计量研究得到了推进。这一系列工作包括将社交媒体内容通过DOI

或预印本库如a