合规大脑助手：企业环境中协助合规任务的对话式代理 AI-计算机科学-人工智能-合规大脑助手-大语言模型.pdfVIP

合规大脑助手：企业环境中协助合规任务的

对话式代理AI

ShitongZhu*,ChenhaoFang*,DerekLarson*,NeelReddy

Pochareddy*,RajeevRao*,SophieZeng*,YanqingPeng*,Wendy

Summer*,AlexGoncalves,AryaPudota,HervéRobert

Meta

MenloPark,California,USA

本摘要1介绍

译本文介绍了合规大脑助手（CBA），这是一种对话式在当今世界，组织需要遵守来自多个来源的各种要求、

中的代理AI助手，旨在提升企业环境中人员日常合规最佳实践和行业特定法规。为了有效管理合规任务，

任务的效率。为了在响应质量和延迟之间取得良好的组织会指派具有合规专业知识的专职人员来监督这些

2

v平衡，我们设计了一个用户查询路由器，它可以智能职责。在整个过程中，这些专家通常会从对话型聊天

9

8地选择处理方式：(i)FastTrack：处理只需要从知识机器人的辅助中受益。通过提供对复杂主题的精确答

2语料库中检索相关上下文的简单请求；和(ii)全代理案和澄清，聊天机器人可以显著提高任务完成的效率

7

1：处理需要复合操作和工具调用来主动发现跨各种合和质量。

.

7规文件的上下文，并且/或者涉及其他API/模型以适应在过去，模式匹配方案和传统的机器学习分类器

0

5请求的复杂请求——一个典型的例子是，从用户查询已被用于将此类问题归类到预定义的标签并提供标准

2开始，使用其描述找到特定实体，然后使用该实体的响应或文档。然而，这些问题通常以自由流动的散文

:

v信息查询其他API来整理和丰富最终的AI响应。形式出现，融合了复杂的词汇、工程术语以及内部讨

i

x我们的实验评估将CBA与一个开箱即用的LLM论中常见的其他术语。这些问题的复杂性和多样性

r

a在各种针对不同角色的真实世界合规相关查询上进行使得仅通过匹配现有响应来回答变得具有挑战性–在

了比较。我们发现，相较于原版LLM，在关键词匹配率许多情况下，提供的答案可能与问题无关，或者它可

（83.7%对41.7%）和LLM评判通过率（82.0%对20.0%）等能隐藏在用户必须筛选的冗长文档中。更糟的是，如

指标上，CBA显著提升了性能，突显了我们面向合规果问题包含歧义，响应可能无法解决工程师的实际关

性增强的有效性。我们也对比了全路由设计与仅FastTrack切，而他们甚至可能由于缺乏相关领域的背景知识而

模式和全代理性模式的指标，发现它在保持响应延迟没有意识到这一点。

大致相同的情况下具有更好的平均匹配率和通过率。我们正在寻找一个更智能的AI系统，能够更好

这一发现验证了我们的假设，即路由机制能够在两个地协助企业人员完成合规任务。理想情况下，它应该

世界之间实现良好的权衡。理解问题的语义，澄清模糊措辞，提供精确答案，在

交互过程中保持上下文，并根据工程师的专业水平调

整解释。更重要的是，助手应通过调用各种企业内部