使用指令微调的大型语言和基于变压器模型进行 AI 生成文本检测-计算机科学-大语言模型-文本检测.pdfVIP

使用指令微调的大型语言和基于变压器模型进行AI生成

文本检测

ChinnappaGuggilla,BudhadityaRoy,TruptiRamdasChavan,AbdulRahmanand1212

EdwardBowen2

1DeloitteToucheAssuranceandEnterpriseRiskServicesIndiaPrivateLimited,India

2DeloitteToucheLLP,USA

Abstract

大型语言模型（LLMs）具备非凡的能力，能够生成不仅连贯且语境相关的文本，而且与人类写作惊人相似。它们适应各种风

格和流派，生成的内容既语法正确又语义有意义。最近，LLMs被滥用以创建高度逼真的网络钓鱼邮件、传播假新闻、生成代

码以自动化网络犯罪以及撰写欺诈性科学文章。此外，在许多实际应用中，生成的内容包括风格和主题及生成模型都是事先

未知的。人工智能（AI）生成文本的日益普遍和复杂化使得对其检测越来越具有挑战性。人们已经尝试使用语言学、统计学、

机器学习和集成方法来区分机器生成文本与人类撰写的文本。本研究重点关注两个主要目标：任务A，即区分人类写作与机

器生成的文本；以及任务B，试图识别负责生成特定LLM模型。这两个任务基于微调生成预训练转换器（GPT_4o-mini）、大

型语言模型MetaAI（LLaMA）38B和双向编码器表示从转换器（BERT）进行。经过微调的GPT_4o-mini版本和BERT模型在

任务A中达到了0.9547的准确率，在任务B中达到了0.4698的准确率。

Keywords

本文本检测,GPT-4o-mini,BERT,LLaMA-3,大语言模型,微调,人类编写的,机器生成的

译

中1.介绍

1

v自然语言处理的进步，特别是大型语言模型（LLMs）的出现，带来了机遇和挑战。这些模型提供了

7许多有益的应用；然而，它们也带来了一些潜在的风险，如广泛生成合成虚假信息、垃圾邮件和网

5

1络钓鱼内容[1]以及假新闻生成[2]。为了应对这些大型语言模型带来的挑战，大量的工作正在开展

5以区分人类撰写的文章与机器生成的文本。由于这些神经语言模型无处不在，仅区分机器生成的文

0本与人工撰写的文本已经不够了，还需要确定特定的神经文本生成器是哪个撰写了某个文本[2]。为

.

7了开发准确检测机器生成文本的方法，充足的数据至关重要。作者[2]创建了第一个图灵测试形式

0的作者识别基准，同时包含了人类和神经语言模型。

5有几个专有工具，如巨大型语言模型测试室（GLTR）[3]、GPT-2输出检测器和GPTZero。然而，

2

:这些工具作为黑盒运行，对其工作原理的了解非常有限。人类与AI文本分类文献可以大致分为监

v督学习、零样本学习、检索基、水印技术和基于特征的检测方法[4,5]。在监督学习方法中，预训练

i

x模型被微调用于分类，而零样本检测方法则将预训练模型应用于零样本设置。基于检索的算法使用

r给定文本与大型语言模型生成物之间的相似性。水印技术利用生成文本中的模型签名，而基于特征

a

的方法考虑各种特征进行分类。在通过重写方法进行生成AI检测（Raidar）[6]中发现，在使用LLM

进行重写任务时，有可能修改人类生成的文本。此外，为了识别AI生成的文本，提示LLMs进行重

写并计算输出之间的编辑距离。HarikaA.等人[7]使用了五个预训练转换器模型的集成来生成鲁棒

特征，并应用诸如逻辑回归、高斯朴素贝叶斯、随机森林和支持向量机等多种机器学习算法进行文

本分类。

在这项工作中，重点关注了两个子任务，即任务A和任务B。任务A的目标是确定给定的文