ERR@HRI 2.0 挑战：人机对话中错误和故障的多模态检测-计算机科学-大语言模型-人机交互-故障检测.pdf

ERR@HRI2.0挑战：人机对话中错误和故障

的多模态检测

ShiyeCaoMaiaStiberAmamaMahmood

JohnsHopkinsUniversityMicrosoftResearchJohnsHopkinsUniversity

Baltimore,USARedmond,USABaltimore,USA

shiyecao@maiastiber@amama.mahmood@

MariaTeresaWendyJuMicolSpitale

CornellTechPolitecnicodiMilano

Parreira

本NewYork,USAMilano,Italy

CornellUniversity

译wendyju@micol.spitale@polimi.it

中Ithaca,USA

mb2554@

1

vHaticeGunesChien-MingHuang

8

6

4UniversityofCambridgeJohnsHopkinsUniversity

3

1Cambridge,UKBaltimore,USA

.

7hatice.gunes@cl.cam.ac.ukchienming.huang@

0

5摘要于防止对话中断、避免任务干扰和维持用户信任至关

2

:重要。

v大型语言模型（LLMs）集成到对话机器人中，使得人

i为了解决这个问题，ERR@HRI2.0挑战赛提供了

x机对话更加动态。然而，由LLM驱动的对话机器人仍

r一个多模态数据集，包含由LLM驱动的对话机器人在

a然容易出现错误，例如例如，误解用户意图、过早打

人机对话中出现的故障，并鼓励研究人员对设计用于

断用户或完全不响应等问题。检测并解决这些问题对

检测机器人故障的机器学习模型进行基准测试。该数

据集包括16小时的人机二元互动，涵盖了面部表情、

语音和头部动作特征。

Permissiontomakedigitalorhardcopiesofallorpar