提示调优强盗：实现高效的多任务离线 RL 的少样本泛化能力-计算机科学-强化学习-大型预训练变换模型-人工智能.pdf

提示调优强盗：实现高效的多任务离线RL的少样本

泛化能力

FinnRietz,OlegSmirnov,

SaraKarimi,andLeleCao

ÖrebroUniversity

finn.rietz@oru.se

King,MicrosoftGaming

{oleg.smirnov,sarakarimi,lelecao}@

Correspondingauthor

本Equalcontribution

译

中

摘要提示已成为将大型预训练变换模型适应下游任务的主导范式。提示

3

v决策变换器（PDT）通过利用随机轨迹提示来识别目标任务，实现大规模、

8多任务离线强化学习（RL）预训练。然而，这些提示是从专家演示中均匀

5

3采样的，忽视了一个关键限制：并非所有提示对于区分任务都同样具有信

6息量。这限制了泛化和适应能力，特别是在低数据或开放世界设置中，样

0.本效率至关重要。为了解决这个问题，我们提出了一种轻量级的、推理时

2间的、基于强盗的提示调整框架。该强盗探索并优化轨迹提示选择以提升

0

5任务性能，同时避免变换器主干的成本高昂的微调。我们的实验不仅表明

2了由于基于强盗的提示调整而带来的明确性能增益，而且在样本复杂性、

:

v可扩展性和提示空间探索方面也优于基准提示调整方法。这些结果突出了

i

x自适应提示选择机制对于离线多任务RL中高效泛化的意义。

r

a

1介绍

近期的人工智能（AI）研究进展已经展示了大型预训练的基于变压器的

基础模型在许多领域的强大能力，包括语言[2,12]，视觉[5,13]和强化学习

[10,14]。这些大型模型利用庞大而多样的离线数据集来获取可以解决许多

下游任务的通用表示。在零样本和少样本设置中利用这些模型的一个突出策

略涉及将其条件化到一个提示–即一种结构化的输入，用于指定当前目标。

通过保持提示处于上下文环境中，模型确保随后生成的标记与任务对齐。因

此，预训练模型在下游任务中的表现不仅取决于预训练数据的覆盖面，还取

决于提供提示的质量和信息量[6,8,11]。

2F.Rietzetal.

在基于变换器的多任务语言模型取得成功的基础上，离线强化学习

（ORL）越来越多地采用了变换器架构，如决策变换器(DT)[4]，以解决顺序

决策问题。在多任务设置中，DT已经扩展到提示决策变换器(PDT)[19]，

利用随机轨迹提示，多个专家演示片段，实现任务条件下的预训练，并促进

少量样本适应。这些提示作为任务描述符，使PDT能够区分任务并生成与

每个任务的最优策略分布一致的动作。然而，PDT从演示数据集中随机均

匀地采样这些提示，忽视了一