关于提示调优的调查-计算机科学-大语言模型-提示调优.pdf

关于提示调优的调查

111

ZongqianLiYixuanSuNigelCollier

Abstract原始模型和参数，从而实现高效部署；(3)框架灵活

本调查回顾了提示调优，这是一种通过在性支持各种知识转移和组合机制，促进多任务学习

模型前添加可训练的连续向量来适应语和领域适应。(Lesteretal.,2021)

言模型的同时保持模型冻结的参数高效方提示调优日益重要的影响表现在两个方面：对于学

法。我们将现有方法分类为两类：直接提术界，它与模型适应、知识迁移(Hintonetal.,2015)、

示学习和迁移学习。直接提示学习方法包持续学习(Wangetal.,2024)和模型解释性(Wang

本括：通用优化方法、基于编码器的方法、etal.,2024)等领域相交；对于商业应用，它使得经

译分解策略以及专家混合框架。迁移学习方济的模型定制成为可能，减少了部署开销，并加速

中法包含：通用迁移方法、基于编码器的方了应用程序开发(Lietal.,2025b;LiCole,2025)。

法以及分解策略。对于每种方法，我们分这两个领域广泛采用这一技术需要进行一项调查来

2

v析了其设计、创新点、见解、优势与劣势，理解其潜在机制、框架设计、创新和发展的趋势。

5并通过说明性可视化对比不同的框架。我

8与现有的广泛回顾PEFT(Hanetal.,2024)或一般

0们识别出计算效率和训练稳定性方面的挑

6战，并讨论了提高训练鲁棒性和扩展应用提示方法(Schulhoffetal.,2024)的调查或论文不

0同，本调查专注于提示调优方法，并做出了三个主

7.范围的未来方向。1要贡献：

0

5

21.介绍•我们提出了一种全面的提示调优方法分类，将现

:

v有方法分为两大类如图1所示：直接提示学习和

i

x大型语言模型（LLMs）在各种自然语言处理（NLP）迁移学习。直接提示学习包括对目标任务进行单

r

a任务中取得了成功，但由于完整模型微调的计算和阶段训练的方法。而迁移学习方法则侧重于利用

存储成本，它们适应下游应用时面临着挑战(Zhao源任务的知识来提高在目标任务上的性能。

etal.,2024)。•对于每种方法，我们提供了对其框架、原理、创

提示调优作为一种有前景的参数高效微调（PEFT）新点、关键见解以及相对优势和局限性的深入

方法，提供了几个优势：(1)通过仅更新一组小的分析；

连续向量而保持预训练语言模型冻结来实现参数效•我们提供了示例可视化来比较不同的方法。

率；(2)通过任务特定的提示进行模块化适应，保留我们识别了当前提示调优方法中的挑战，并提出

1了未来的研究方向。

U