声源定位在户外环境中的人机交互.pdfVIP

声源定位在户外环境中的

人机交互

VictorLiuTimothyDuJordySehnJackCollierFrançoisGrondin

Abstract—本文提出了一种声源定位策略，该策略依赖于输出还可以允许语音指令与从光学或激光雷达传感器

嵌入无人驾驶地面车辆中的麦克风阵列和靠近操作员的异步近检测到的手势信号结合使用，从而理解诸如“去那边”

讲麦克风。结合信号粗对准策略与时域声回波消除算法来估计

的复杂指令。最后，在多用户控制情况下，SSL输出

时间频率理想比掩模以从干扰和环境噪声中分离出目标语音。

这使得可以选择性地定位声源，并为机器人提供来自活跃操作可用于验证命令来自操作员，并有助于操作员交接。

员的声音到达方向，从而在嘈杂场景中实现丰富的交互。结果SSL可以通过多重信号分类（MUSIC）和导向响

表明，在1dB信噪比下平均角度误差为4度，5度内的准确率应功率相位变换（SRP-PHAT）方法实现。MUSIC基

本为95%，显著优于最先进的定位方法。

译于标准特征值分解（SEVD-MUSIC），以前用于窄带

中I.介绍信号[7]，并适应宽带语音信号[8]。然而，它假设语音

对于机器人操作，语音控制是人机交互的一种有比干扰更强大，这通常并非如此。变体如广义特征值

1效技术[1],[2],[3]。它直观、无需动手，并且对操作分解（GEVD-MUSIC）[9]和广义奇异值分解（GSVD-

v

1员的认知负担较低。在高压力场景中这一点尤为重要，MUSIC）[10]方法解决了这个问题。但是，所有基于

3

4例如国防和安全应用，此时操作员需要在保持环境态MUSIC的方法都依赖于在线特征值或奇异值分解，

1势感知并与他人通过耳机或手势进行沟通的同时与机这在计算上是昂贵的。SRP-PHAT（使用广义互相关

2

7.器人互动。自然语言处理（NLP）领域的大规模语言（GCC-PHAT）实现）比MUSIC[11]使用更少的计算，

0模型（LLM）的进步加速了语音控制技术的采用[4]，但对背景噪声敏感。带有相位变换的差异奇异值分解

5

2因为这些模型能够准确地解释来自各种自然语言陈述（DSVD-PHAT）被提出作为SRP-PHAT的替代方案

:

v的命令。以提高抗噪性，并在3D中寻找到达方向（DoA）时

i

x对于许多户外现场机器人应用而言，语音控制的降低算法复杂度[12]。

r

a一个基本问题是过滤掉环境噪音和来自操作员真实语在这项工作中，我们提出使用最小方差无失真响

音指令的其他声音[5]。声源定位（SSL）是一种处理应（MVDR）波束形成器来定位目标信号并忽略干扰

此问题的方法，可以确定命令的方向，并使用另一种源。这种方法受到了改进的MVDR的启发，该方法依

传感器如激光雷达[6]来验证最终用户。此外，作者设赖于用掩码[13]估计的空间协方差矩阵。对于此应用，

想来自SSL算法的输出可以为机器人指令提供额外的掩码是基于操作员佩戴的近讲麦克风提供的干净参考

上下文。例如，发出“跟随我”指令的操作员可以使信号通过声回波抵消[14],[15]估算的。使用近讲麦克

用SSL输出来决定转向何处开始跟随操作员。方向性风的原因是在军事场景中人员已经拥有一款可用于利

用的通信麦克风。我们证明了这种方法使系统对噪声

VictorLiuandTimothyDuarebothleadauthorsandcontributed

具有鲁棒性，提供了