WebNav：一种用于语音控制网页导航的智能代理-计算机科学-大语言模型-网络自动化-人机交互-多模态人工智能.pdfVIP

WebNav：一种用于语音控制网页导航的智能

代理

TrisanthSrinivasanSantoshPatapasti

Dept.ofAppliedAIDept.ofAppliedAI

CyrionLabsCyrionLabs

Dallas,USADallas,USA

trisanth@santosh@

摘要—现代网络界面的现状，特别是在无障碍使用方面，极代理自主执行所需的行动。像PaLM[5]和GPT-4[6]

本为不足。传统的网页交互方法，如脚本语言和屏幕阅读器，往往这样强大的大型语言模型（LLMs）的出现，为解决这

译缺乏处理动态内容的灵活性或理解高层次用户目标的智能。为了一需求开辟了有希望的道路。

解决这些问题，我们引入了WebNav，一个多模态网络导航的

中新代理。WebNav利用双大型语言模型（LLM）架构将自然语在本文中，我们介绍了WebNav，一个基于自然语

2言命令翻译成图形用户界面上精确可执行的操作。该系统结合基言自动执行网络任务的创新多模态代理。WebNav以类

v

3于视觉的截图上下文与动态DOM标记浏览器扩展程序来稳健似于人类用户的方式通过解释屏幕截图来处理网页。为

4地识别交互元素。一个高层次的“控制器”LLM策划下一步以了将视觉感知转化为可执行的操作，WebNav集成了一

8

3实现用户的任务目标，而第二个“助手”LLM生成确切的执行个自定义浏览器扩展程序，该扩展程序为所有交互式文

1参数。这种关注点的分离使得能够进行复杂的任务分解和动作制

.档对象模型（DOM）元素分配数字标签，提供了一个

3定。我们的工作展示了WebNav的完整架构和实现，证明了创

0建更智能网络自动化代理的一种有前途的方法。稳定、结构化的参考框架。

5

2IndexTerms—大型语言模型，网络自动化，人机交互，自WebNav的一个核心创新是其两阶段的LLM决

:

v主代理，多模态人工智能，辅助技术策架构，该架构采用了一种刻意的“思考”然后“行

i

x动”的范式，在概念上类似于Chain-of-Thought[7]或

rI.介绍

aTree-of-Thoughts[8]推理。在第一阶段，控制器，一个

万维网已经发展成为一个获取信息、进行商业活动高级LLM，分析用户的目标、当前的视觉状态和历史

和促进社交互动的重要平台。随着网络应用程序变得越动作以确定下一步逻辑步骤。随后，助理，一个专门的

来越复杂和动态，它们固有的复杂性可能会给用户带来LLM，接受Controller的指令，并将其转化为适合直接

重大挑战，特别是对全球数百万视力障碍者来说[1]。导执行的精确结构化JSON命令。这种双LLM框架有效

航复杂的菜单、完成多步骤的表单以及与不符合无障碍地将网络导航问题分解为战略推理和详细行动制定，增

指南的非常规UI元素进行交互[2]经常变成艰巨的任强了鲁棒性和模块化。

务。传统辅助技术，如屏幕阅读器，通常以线性格式呈该研究的主要贡献包括：设计WebNav作为实用的

现信息，这可能不足以执行现代动态网络应用程序上的多模态代理；一种用于任务分解的新两阶段LLM管道；

复杂目标导向任务[3]。此外，传统的自动化工具，如以及一种动态DOM标签机制，以在UI上下文中锚定

Selenium，需要编程技能，并且生成的脚本在网页布局动作。最后，我