PromptSuite : 一种任务无关的多提示生成框架-计算机科学-大语言模型-提示工程-Python.pdfVIP

PromptSuite:一种任务无关的多提示生成框架

EliyaHabba*NoamDahanGiliLiorGabrielStanovsky

TheHebrewUniversityofJerusalem

eliya.habba$mail.huji.ac.il

摘要务(ResendizandKlinger,2024)，引发了人们对

使用单一提示进行评估的有效性的担忧。

使用单个提示评估大语言模型已被证明是

本不可靠的，微小的变化会导致性能出现显多提示评估目前颇具挑战性，因为没有标

译著差异。然而，生成更稳健的多提示评估准的方法来扩展现有的基准测试，这些基准测

所需的各种提示变化具有挑战性，这限制试主要是使用单个提示编译的。显然，尽管存

中了其在实践中的应用。为了解决这一问题，在主要限制，单提示评估在许多自然语言处理

1我们引入了PromptSuite，这是一个能够自任务中仍然很普遍(Guetal.,2024a,b;Lioretal.,

v

3动生成各种提示的框架。PromptSuite是灵2025)。

1活的——开箱即可用于广泛的任务和基准

9为了解决阻碍自然语言处理中有效评估的

4测试。它遵循模块化提示设计，允许对每个

1.组件进行可控扰动，并且具有可扩展性，支重大挑战，我们提出了框架PromptSuite，它生

7持添加新的组件和扰动类型。通过一系列成多个提示，并利用大语言模型以及基于规则

0

5案例研究，我们展示了PromptSuite提供了的启发式方法来生成沿影响模型性能维度的

2

:有意义的变化以支持强大的评估实践。其变化。

v1

i可以通过一个PythonAPI，和用户友好的PromptSuite建立在三个核心原则上，这些

x2

r网页界面获得。原则在第2节中进行了介绍。首先，PromptSuite

a

1介绍是灵活，设计为可以在广泛的基准测试中直接

使用。第二，PromptSuite遵循一个模块化设计，

近期的研究表明，大语言模型对任务表述

将提示分解为四个组成部分：指令、提示格式、

中的细微、保持意义不变的变化非常敏感。从添

演示和实例内容，并且PromptSuite能够针对

加空白字符到指令的改写，这些微小的变化会每个部分进行有针对性的扰动，使其易于评估

导致模型性能出现显著差异(Sclaretal.,2023;

它们的影响并适应新任务。最后，PromptSuite

Mizrahietal.,2024)。是可扩展的支持未来的