博学者：具有动态分层工作流的自我优化代理.pdfVIP

博学者：具有动态分层工作流的自我优化代理

112111

Chia-TungHo,JingGong,XufengYao,YunshengBai,AbhishekBAkkur,HaoxingRen

1Nvidia,SantaClara,CA,USA

2ChineseUniversityofHongKong,HongKong,China

CorrespondingAuthors:chiatungh@,haoxingr@

Abstract此，自动化用于解决多功能和多样化任务的代理工作流

程已成为一个关键需求。

大型语言模型（LLMs）在通过执行由详细指令和结构

化操作组成的代理工作流程来解决复杂任务方面表现许多近期的研究集中在自动化代理工作流发现

出色。然而，通过文本界面手动将基础模型嵌入到诸如以减少人工参与(Khattabetal.2024;Yuksekgonul

Chain-of-Thought、Self-Reflection和ReACT等代理系etal.2024;Liuetal.2023;Huetal.2024)，但完全

本统中以构建通用代理限制了可扩展性和效率。最近，许自动化仍未解决。DSPy(Khattabetal.2024)需要手

译多研究人员试图通过基于代码的表示形式自动化生成和动设置，而像TextGrad(Yuksekgonuletal.2024)和

优化这些工作流程。但是，现有的方法通常依赖于标记GPTSwarm(Zhugeetal.2024)这样的方法则难以捕

中数据集来训练和优化工作流程，在实际动态问题中，当缺捉到广泛任务泛化所需的多样化工作流(Yu,He,and

2少标记数据时，这使它们无效且不灵活。为了解决这一挑Ying2023;Yangetal.2024b;Sunetal.2023)，因为

v战，我们引入了Polymath，这是一种具有动态分层工作

9它们的优化目标无法代表潜在工作流的广度。尽管

5流的自我优化代理，它利用任务流程图的灵活性和代码ADAS(Huetal.2024)和AFlow(Zhangetal.2024a)

9表示的工作流的表现力来解决广泛的实际动态问题。所

2提出的优化方法整合了多网格启发的图优化与以自反思通过将工作流程表示为代码并利用执行反馈进行改进

0.指导的进化算法相结合的方法，在没有标记数据的情况来提高表达能力，但它们严重依赖现有的验证数据，并

8下精化工作流程。在涵盖编码、数学和多轮问答任务的且旨在跨任务类别进行泛化，这限制了它们对动态、现

0六个基准数据集上的实验结果显示，Polymath比最先进实世界问题和特定任务挑战的适应性。另一方面，数据

5

2的基线平均提高了8.1%。我们将在接受后公开源代码。解释器(Hongetal.2024)提出了基于可编程节点流的

:

v任务图，但这种方法缺乏高效的自我学习和优化。这突

i介绍显了迫切需要更有效且适应性强的技术来完全自动化

x

r动态、现实世界问题的工作流程生成，以加速跨领域应

a大型语言模型（