评审科学论文中的关键问题与推理 LLM：基线方法和自动评估-计算机科学-大语言模型-科学论文.pdfVIP

评审科学论文中的关键问题与推理LLM：基线方法和自动评估

TianmaiM.ZhangNeilF.Abernethy

UniversityofWashington

{tianmai,neila}@

Abstract的同行评审过程，但不负责任使用LLM生成

的审稿意见可能会严重削弱对长期存在的同行

近期大型语言模型的进步引发了人们利用

本它们来帮助解决同行评审危机中科学出版评审流程及出版商信誉的信任。

译物的同行评审过程的兴趣。然而，让AI模几项研究正式探讨并评估了LLM生成的

型以与人类审稿人相同的方式生成完整的评论的质量。Liangetal.(2024)早期的一项研

中评论可能会加剧LLM生成评论的不负责任

究表明，GPT生成的评论与人类评论之间存在

2使用。作为替代方案，我们提议采用LLMs

v大量重叠，并且参与者报告称GPT生成的反馈

4作为手稿质量检查器。我们介绍了几种基

是有帮助的。后来的研究(Duetal.,2024;Zhou

2线方法和一个可扩展的自动评估框架，该

8etal.,2024;Shinetal.,2025)表明，LLM生成的

3框架利用顶级推理LLMs作为评判者来解

2.决招募领域专家进行人工评估的困难。通评论存在缺陷，例如肤浅的评论以及缺乏批评

5过使用从arXiv撤回的论文，我们验证了我或新颖性评估。其他研究(D’Arcyetal.,2024;

0

5们的建议方法，并使用多个供应商提供的Gaoetal.,2024;Taechoyotinetal.,2024;Tanetal.,

2几款领先的推理LLM对其性能以及识别科

:2024;Tyseretal.,2024;Yuetal.,2024;Zhuetal.,

v学论文中的关键错误和不合理问题的API

i2025)开发了技术方法来改进LLM生成的评

x成本进行了评估。o3在所有模型中表现出

r论。然而，所有这些研究都集中在LLM像人

a了最佳的问题识别性能，并且成本适中。本

文提供了基于文档的科学研究/推理方面的类评论者那样生成完整评论的情景上，这可能

见解，并为未来应用奠定了基础。我们的加剧不负责任地使用LLM生成的评论的风险。

数据集、代码和模型输出公开可用。在这些研究中最常见的评估方法是将LLM生

成的评论与人类评论进行比较，无论是手动还

1介绍

是计算。