偏好数据集剪枝的影响函数-计算机科学-大语言模型-强化学习-参数微调.pdfVIP

PublishedasaconferencepaperatCOLM2024

偏好数据集剪枝的影响函数

DanielFeinGabrielaAranguiz-Dias

DepartmentofComputerScience

StanfordUniversity

{drfein,gadias}@

Abstract

语言模型通常通过强化学习进行微调以改变其行为或激发新能力。用于这

些目的的数据集，特别是人类偏好数据集，往往包含噪声。相对较小的训练

后数据集结合高效的参数微调方法，使得可以使用影响函数近似来检测并

本修剪对验证集性能有害的训练样本。在这项工作中，我们将TL;DR数据集

译调整为奖励模型训练，以展示如何使用共轭梯度近似的影响力函数来过滤

中数据集。在我们的实验中，影响函数过滤在移除10%的训练样本后产生了

1.5%的小幅重新训练准确性提升。我们还展示了梯度相似性在检测有用的

1

v训练样本方面优于影响函数。这表明局部曲率对于检测有害的训练样本很

4重要，但对于识别有用的示例则不那么重要。

4

3

4

11介绍

.

7

0影响函数是理解特定数据如何影响通过梯度下降训练的神经网络的强大工具(KohLiang,

5

22017)。然而，它们在语言模型中的实用性受到对模型参数相对于逆Hessian的依赖的阻碍。

:语言模型的大规模性，无论是在参数数量还是训练数据方面，因此对基于影响函数的预训练

v

i规模的数据归因提出了挑战。尽管如此，大规模使用的Hessian近似值已经证明了影响函数

x

r揭示语言模型如何利用其训练数据的能力Grosseetal.(2023)。

a

最近，后训练范式已被证明在控制语言模型的行为方面至关重要，这包括其有用性和无害性

以及数学和编码能力(Baietal.,2022b;Zelikmanetal.,2022)。同时，诸如低秩适应等参

数高效微调技术使得可以通过相对较少的模型参数训练来实现这种后训练Huetal.(2022)。

这种计算成本更低的训练方法的巨大有效性需要对影响力函数进行新的研究，以理解数据

与模型行为之间的关系。

具体到人类偏好建模的任务，据估计用于使语言模型与人类偏好对齐的训练数据中有20-

40%是噪声(Gaoetal.,2024)。影响函数已被用来减少计算机视觉任务的训练集大小(Yang

etal.,2023)，但尚未应用于语言模型数据整理。

在这项工作中，我们首次展示了通过共轭梯度法近似的影响力函数如何帮助通过过滤噪声

示例来创建更强的奖励模型。

2相关工作

影响函数近似Martensetal.(2010)首先使用共轭梯度法近似深度网络的海森矩阵，并且

KohLiang(2017)将其应用于影响函数。Kwonetal.(2023)和Grosseetal.(2023)提出

1

PublishedasaconferencepaperatCOLM2024

算法，能够高效地近似共轭梯度法，并分别将其应用于LoRA微调和预训练的语言模型。他

们没有评估数据整理中的共轭梯度法，也没有考虑偏好建模的任务。

强化学习反馈和数据整理Stiennonetal.