通过不确定性驱动的 LLM 路由实现对话系统中的高效范围外检测-计算机科学-大语言模型-意图检测.pdf

通过不确定性驱动的LLM路由实现对话系统中的高效范围外检测

*

ÁlvaroZaera,DianaNicoletaPopa,IvanSekuli,PaoloRosso

TelepathyLabsGmbH,Zürich,Switzerland

{firstname}.{lastname}@telepathy.ai

摘要

超出范围（OOS）意图检测是任务导向对

本话系统（TODS）中的一个重要挑战，因为

译它确保了对未见过和模糊查询的鲁棒性。

在本研究中，我们提出了一种新颖但简单

中的模块化框架，该框架结合不确定性建模

1与微调的大语言模型（LLMs），以实现高

v

1效的OOS检测。第一步是对已部署于处理

4日常数万次用户交互的真实世界TODS中图1:概览UDRIL。一个不确定性评分函数被应用

5

1的范围内的意图检测分类器的输出进行不于范围内的分类器的输出。当用户陈述可能超出范

0.确定性估计。第二步则利用一种新兴的基围、模糊或分类错误时，如由不确定性得分和定义

7于LLM的方法，其中经过微调的LLM被的阈值所指示，会提示一个微调的LLM进行修正

0

5触发对具有高不确定性的实例做出最终决预测；否则，维持分类器原有的预测。

2

:策。与先前方法不同的是，我们的方法有

v

i效地平衡了计算效率和性能，结合传统方

x

r法与LLMs，并在关键的OOS检测基准上如果没有有效的离域检测，这样的输入可

a取得了最先进的结果，包括从部署的TODS能导致不正确的响应、降低用户信任度，并最

中获取的真实世界的OOS数据。终导致系统故障，因为任何任务导向系统的离

1介绍域查询的范围是无限大的(Aroraetal.,2024)。

通过识别离域查询，系统可以优雅地处理此类

意图检测是自然语言理解中的一个基础任

情况，生成一个预定义或动态响应来表示其无

务，使系统能够通过识别用户的潜在意图来准

法处理请求，或者激活备选机制，如将对话升

确解释和响应用户查询(Casanuevaetal.,2020)。

级为人工代理处理或触发更新以扩展系统覆盖

虽然意图检测确保范围内的（INS）查询被映

范围。

射到预定义的意图上，但检测超出范围（OOS）

的意图也同样重要，特别是在现实世界的应用为应对这些挑战，我们提出了不确定性驱

中，用户常常以不可预测的方式进行交互，例动的大语言模型触发，(UDRIL)，这是一种结合

如提出超出系统设计能力范围的查询(Larson了效率和准确性的两步方法，用于强大的意图

检测。UDRIL如图1所示，包含一个范围内的