单一连接：一种参数高效的微调技术用于 Transformer-计算机科学-深度学习-大语言模型-参数高效的微调.pdfVIP

单一连接：一种参数高效的

微调技术用于Transformer

12

HarshNileshPathakRandyPaffenroth

Abstract可以包含128个或更多的解码器块。这些

扩展的架构强调了在微调过程中重新审视

参数高效的微调（PEFT）是一种适应大型

如何使用跳跃连接的必要性。本文重点讨

语言模型（LLM）执行新任务的灵活且可

论“长跳跃连接”，这种连接将不同解码器

扩展的方法。最突出的PEFT方法之一，低

块的输出联系起来，有可能增强模型适应

秩适应（LoRA），主要集中在调整生成预训

新任务的能力，同时利用预训练的知识。

本练转换器（GPT-2）中单个解码块内的注意

译力权重矩阵上。相比之下，我们介绍了一种

中名为SoloConnection的新颖方法——它在1.介绍

1解码器块级别适应表示形式，而不是修改

v单独的权重矩阵。不仅SoloConnection在预训练语言模型（PLMs）如GPT-2(Radfordetal.,

3

5端到端自然语言生成基准测试中的表现优2019)、GPT-3、GPT-4、LLAMA-2(Touvronetal.,

3于LoRA，而且相对于LoRA减少了59%2023)和Transformer-XL(Daietal.,2019)通过利用

4

1的可训练参数量，并且与完全微调GPT-自监督目标（例如语言建模）改变了自然语言处理领

.

72（早期版本的大规模语言模型之一）相域。这些模型可以根据给定的序列预测下一个标记，

0

5比，其可训练参数量减少了超过99%。Solo从而生成连贯的文本。尽管它们取得了成功，但将

2Connection的另一个关键动机源自同伦理大型PLMs适应新领域的过程仍然需要大量资源，

:

v论，在此我们引入了一个可训练的线性变这限制了计算和内存受限的研究团队的可访问性。

i

x

r换，它逐渐插值于零向量和任务特定表示参数高效的微调（PEFT）通过使用少量的参数子

a

之间，从而实现平滑且稳定的随时间适应。集来适应PLMs，从而解决了这一挑战(Xuetal.,

虽然原始的12层GPT-2中的跳跃连接通2023)。像LoRA(Huetal.,2021)、BitFit(BenZaken

常局限于单独的解码器块，但随后的GPT-etal.,2022)和Adapters(Houlsbyetal.,2019a)这

样的技术已经表明，模型可以在不进行完全微调的

2变体扩展到48层，甚至更大的语言模型

1情况下保持强大的性能。这些方法在资源有限的环

E