人类在互动时听到什么？用于评估口语对话系统 ASR 的选择性听力实验.pdfVIP

人类在互动时听到什么？用于评估口语对话系统ASR的选择性听力实验

KiyotadaMori,SeiyaKawano,ChaoranLiu,CarlosToshinoriIshi,AngelFernando

GarciaContreras,KoichiroYoshino

NaraInstituteofScienceandTechnology,Japan;GuardianRobotProject,RIKEN,Japan;

NationalInstituteofInformatics,Japan;TokyoInstituteofTechnology,Japan

mori.kiyotada.mh5@naist.ac.jp,seiya.kawano@riken.jp,cliu@nii.ac.jp,carlos.ishi@riken.jp,

angel.garciacontreras@riken.jp,yoshino.k.ai@m.titech.ac.jp

Abstract[7]和概念错误率[8]，都需要有人类参考才能适当

评估词的重要性。此外，为了指定每个单词的重

口语对话系统（SDS）在其管道前端使用自动语

要性，需要明确的任务，例如餐厅或公交预订。因

音识别（ASR）。ASR在SDS中的作用是恰当地

此，这些方法仅适用于任务导向型对话中可以使

识别与响应生成相关的用户语音信息。通过检查

用人类参考的具体情况。我们的研究旨在通过观

人类的选择性倾听能力，即在讲话过程中专注于

察对话过程中的人类听觉行为来解决这个问题。

本并聆听对话中重要部分的能力，我们将能够确定一种表明适当衡量SDS所需ASR能力的方

SDS所需的ASR功能并对其进行评估。在这项研

译法的现象是人类执行的选择性倾听[9]。选择性倾

究中，我们通过比较用于生成对话响应的人类转

中听是人类潜意识地专注于对话中重要部分并忽略

录和参考转录，实验确认了人类在生成对话响应

1无关声音的能力。这种能力使人类即使在嘈杂的

v时的选择性倾听。根据我们的实验结果，我们讨论

2了一种新的基于人类选择性倾听的ASR评估方法环境中也能与特定的人交谈。鸡尾酒会效应是这

0一现象的一个典型例子[10]。选择性倾听已经通

4的可能性，这种方法可以识别ASR系统与人类之

4过心理实验得到验证[11,12],且有大量证据支持

0间的转录能力差距。

.其存在和功能。

8IndexTerms:对话