ArXivBench：在哪些情况下你应该避免使用 ChatGPT 进行学术写作.pdfVIP

ArXivBench：在哪些情况下你应该避免使用ChatGPT进行学术写作

NingLi,JingranZhang,JustinCui

UniversityofCalifornia,LosAngeles

LosAngeles,CA90095

{ningli23,zhangjingran,justincui}@

Abstract在评估它们在查找研究论文方面的有效性时缺乏标准

化的基准尤其令人担忧。这一点至关重要，因为这将

本大型语言模型（LLMs）在推理和问题回答方面表现出有助于推进LLM技术的进步，尽管它们已经在诸如

译强大的能力，但它们生成事实性错误内容的倾向仍然arXiv[21,28]这样的相关语料库上进行了训练，arXiv

是一个关键挑战。本研究评估了专有和开源的LLMs，是分享研究论文的主要平台。本文介绍了arXivBench，

中在生成具有准确arXiv链接的相关研究论文方面的表这是首个专门设计用于评估模型生成内容在回应arXiv

2现。我们的评估揭示了重大的学术风险：LLMs经常生上的研究相关提示时准确性的基准。arXivBench包含

v

6成不正确的arXiv链接或引用不存在的论文，从根本上一个精心策划的数据集，其中包含了来自13个领域的

9破坏了它们正确归因研究成果给实际作者的能力。我6,500个提示，为评估它们在学术环境中的性能提供了

4

0们引入了arXivBench，这是一个专门设计用于在arXiv一个强大的平台。此外，它还配备了一条自动提示生成

1.上的八大主要学科类别和计算机科学中的五个子领域流水线，使得数据集易于扩展，并且有一个评估套件用

4中评估LLM性能的标准（其中计算机科学是最受欢迎于最终的性能评估。

0

5的类别之一）。我们的研究结果显示出各科目之间令人我们的基准提供了灵活性，可以考察不同学术领

2担忧的准确性差异，Claude-3.5-Sonnet在生成相关且

:域的各种专有和开源LLMs。我们评估了总共15个广

v准确的回复方面表现出显著优势。值得注意的是，大

i泛使用的LLMs，比较它们在学术严谨性下生成准确且

x多数LLMs在人工智能方面的表现明显优于其他子领

r相关内容的能力。总结来说，我们的贡献是：

a域。这个标准提供了一个评估LLM在科学环境中可靠

•我们贡献了一个全面的提示数据集，旨在评估大型

性的标准化工具，促进了研究环境中更值得信赖的学术

语言模型基于arXiv生成准确响应的准确性。

使用。我们的代码和数据集可在/

•我们对15种不同的模型在计算机科学的8个主要学

liningresearch/arXivBench和https://huggingface.co/

科和5个具体子领域中的性能进行了基准测试。

datasets/arXivBenchLLM/arXivBench获取。