回译与 LLM 时代的同义表达？比较情感分类的数据增强方法-计算机科学-机器学习-数据增强-大语言模型.pdfVIP

回译与LLM时代的同义表达？比较情感分类的数据

增强方法。

ukaszRadliski,MateuszGuciora,andJan

Koco

DepartmentofArtificialIntelligence,WrocawUniversityofScienceandTechnology,

Wyb.Wyspiaskiego27,50-370Wrocaw,Poland

lukasz.radlinski@.pl

本

译摘要众多特定领域的机器学习任务面临着数据稀缺和类别不平衡的问题。

本文系统地探讨了自然语言处理中的数据增强方法，特别是通过像GPT

中这样的大型语言模型进行的探索。本文的目的在于考察并评估传统的诸如

1释义和反向翻译等方法是否能够利用新一代模型实现与纯粹生成性方法相

v当的表现。所选择的方法旨在解决数据稀缺的问题，并利用ChatGPT，同

0

9时选用了具有代表性的数据集。我们开展了一系列实验，在多种实验设置

5下比较了四种不同的数据增强方法。然后从生成数据的质量及其对分类性

4能的影响两个方面评估了结果。关键发现表明，反向翻译和释义可以产生

1

.与零样本和少量样本生成示例相当甚至更好的结果。

7

0

5Keywords:数据增强·大型语言模型·GPT·数据稀缺·类别不平衡

2

:

v

i

x1介绍

r

a

近年来，人工智能（AI）系统结果质量的提高导致了其更广泛的应用和

日益增长的兴趣。深度学习（DL）作为这些变化的主要引擎，需要大量的输

入数据来产生良好的输出。因此，数据收集和处理已成为关键。人工智能的

一个分支是自然语言处理（NLP），它处理文本数据等。处理此类数据的DL

模型需要大量且高质量的数据。然而，许多领域仍然缺乏这样的数据。

数据增强（DA）是应对这一挑战的一种技术。它对计算机视觉和音频处

理产生了积极影响，并且正在尝试类似的方法来增强文本数据。这些数据的

操作在复杂性和精巧性上可能会有所不同。方法从简单的字符随机插入等简

单技术到更高级的方法，例如利用大型语言模型（LLMs）的生成能力进行

整个数据样本的释义。像ChatGPT这样的大型语言模型变得越来越流行和

2.Radliskietal.

RawDataset(GoEmotions)

BacktranslationParaphrasingLLM-basedGeneration

AugmentedDataset

Fine-Tuningo