面向企业应用的计算机使用通才代理-计算机科学-代理人工智能技术.pdfVIP

面向企业应用的计算机使用通才代理

SamiMarreed,AlonOved,AviYaeli,SegevShlomov,IdoLevy,Offer

Akrabi,AviadSela,AsafAdi,NirMashkif

IBMResearch

{sami.marreed,alon.oved,segev.shlomov1,ido.levy1}@

{aviy,offer.akrabi,sela,adi,nirm}@

本

译

中摘要

本文介绍了我们正在开发的面向企业的通用代理计算机系统（CUGA）的工作。我们的研究

3

v强调了构建适用于企业环境的智能系统的进化性质。通过将最先进的代理人工智能技术与迭代

1

6评估、分析和改进的系统方法相结合，我们在WebArena和AppWorld基准测试中取得了显著

8的进步，达到了新的性能标准，并实现了快速且成本效益高的性能提升。我们详细介绍了开发

1

0路线图，以及促进从失败中迅速学习和持续系统改进的方法论和工具，并讨论了企业采纳过程

3.中遇到的关键经验和未来挑战。

0

5

21介绍

:

v

i

x企业级、使用计算机的通用代理的发展代表了人工智能领域的一个重要前沿，有望彻底改变各

r

a行各业的生产力、工作流程、自动化和决策制定。大型语言模型、视觉模型和行动模型的近期进展，

以及代理型AI框架和实现的进步，不断提高了现有计算机使用基准的标准。虽然最近的公告，如

Anthropic的ComputerUse[1]和OpenAI的Operator[4]，表明商业机会正在增长，但要实现这一

愿景不仅需要尖端模型、算法或产品原型，仍然存在重大挑战。

在IBM研究部门，我们的目标是引领代理系统的发展，这些系统不仅完成任务，还涵盖了企

业采纳所需的所有维度，如隐私、安全、可信度和AI代理解决方案的成本效益。作为这一使命的一

部分，我们已经开始开发计算机通用代理（CUGA）。我们对IBMCUGA的愿景是开发一个可以由

知识工作者调整和配置以安全且值得信赖的方式执行其工作的常规或复杂部分的通用代理。我们的

第一个版本专注于网络应用程序中的知识工人任务，并在WebArena基准测试[8]上进行了测试。

如表1所示，CUGA在WebArena基准测试中实现了任务完成的新最先进水平61.7%—[7]。

在AppWorld基准测试[5]中，该代理实现了46%的场景完成率——也达到了新的最先进水平。

*这些主要作者对这项工作做出了同等贡献

1

表1:CUGA在基准测试中的结果

基准名称成功率/完成率领域描述

WebArena61.7%successrateWebEvaluatesweb-basedtasks

AppWorld48.2%scenariocompletionrateAPIEvaluatesAPItasks

AppWorld评估了代理动态选择适当API、管理变量、推理先决条件和输出以及使其策略与长期目

标保持一致的能力——这些都是现实世界企业系统中必不可少的技能。

本文概述了我们工作的当前状态，详细介绍了我们的代理架构如何随