探索高效的定向和距离线索用于区域语音分离.pdfVIP

探索高效的定向和距离线索

用于区域语音分离

YihengJiang,HaoxuWang,YafengChen,GangQiao,BiaoTian

TongyiLab,AlibabaGroup,China

{jiangyiheng.jyh,tianbiao.tb,chenyafeng.cyf,wanghaoxu.whx,songjiang.qg}@

Abstract

在本文中，我们介绍了一种基于神经网络的区域

语音分离方法，使用麦克风阵列。该方法利用新

颖的空间线索从指定方向以及定义的距离内提取

声源信号。具体来说，我们的方法采用改进的延

本迟求和技术来获得方向性提示，显著增强了来自

译目标方向的信号。我们进一步通过将直达声与混图1:区域语音分离的示例。蓝色区域代表目标距

响比纳入输入特征中来增强分离效果，使模型能

中够更好地区分在指定距离内外的声源。实验结果离范围，橙色区域表示目标方向范围，它们的重叠

1表明，我们提出的方法在多个客观指标上取得了部分定义了目标语音区域。“干扰源”用“Interf.”

v

3显著提升。此外，在记录了真实世界对话场景的表示。

6

5CHiME-8MMCSG数据集上，我们的方法实现了于空间信息的语音分离鲁棒性中。例如，[13]的研

7

0最先进的性能，强调了其在实际应用中进行语音究利用神经网络从不同方向区域的干扰源中隔离

8.分离的有效性。目标语音，使用线性麦克风阵列。在[14]中，作者

0IndexTerms:麦克风阵列，区域语音分离，方训练网络隐式估计距离线索，在无噪声条件下分

5

2向和距离提示离指定范围内的语音。此外，一种称为Re-Zero[15]

:

v的方法利用两个级联的神经网络分别捕获方向和

i

x1.介绍距离线索，使用圆形麦克风阵列在空间区域内实

r

a现语音分离。此外，还有一些基于方向的语音分离

语音分离，即在嘈杂环境中从多个说话者中研究如[2,16]，而基于距离的分离研究则因在噪

隔离目标语音，对于实际应用至关重要。这项技术声和动态环境中的距离线索估计挑战而较为有限

的进步极大地改善了一系列用途，包括选择性收[14]。

听、助听器和会议系统[1,2]。

当前的语音分离方法可以分为几类。一些方我们的研究，如图1所示，专注于基于神经网

法是为单通道分离设计的，从深度聚类[3]或置络的区域语音分离（RSS），使用麦克风阵列，其

换不变训练[4]开始。其他方法利用个性化特征中该区域由指定的距离和方向范围定义。传统的

来提取目标说话人的声音，并可能需要额外的模波束成形方法，例如DAS，在复杂环境中仅实现

块来生成说话人嵌入[5,6]。此外，像延迟求和适度的初始信号增强[17]，但它们提供了至关重

(DAS)[7,8]、最小方差无失真响应(MVDR)[9,10]要的方向线索，神经网络可以利用这些线索来提

以及广义旁瓣抑制器(GSC)[11,12]这样的波束形