实时音频视觉语音增强使用预训练的视觉表示.pdfVIP

实时音频视觉语音增强使用预训练的视觉表示

TengMa,SileYin,Li-ChiaYang,ShuoZhang

SchoolofMusic,GeorgiaInstituteofTechnology,UnitedStates

Research,BoseCorporation,UnitedStates

tengofma@,sile_yin@,richard_yang@,shuo_zhang@

Abstract扰语音。传统的仅限音频的语音增强（AOSE）方

法在多说话者场景中往往难以处理，除非提供目

仅音频环境下的语音增强仍然具有挑战性，特别

标说话者的注册音频[5]。这种局限性促使了基于

是在存在干扰说话者的情况下。本文提出了一种

视听的语音增强（AVSE）作为有前景的替代方案

简单而有效的实时音视频语音增强（AVSE）系统

出现，利用现代设备上日益增长的视觉输入的可

RAVEN，该系统能够隔离并增强屏幕上的目标说

用性。

本话者，同时抑制干扰说话者和背景噪声。我们研究

译了从音视频语音识别（AVSR）和活动说话者检测大多数现有的AVSE工作是在非因果设置下

中（ASD）中学习到的视觉嵌入如何对不同信噪比条进行的，采用基于掩码的[2,6,7]、基于映射的

件和干扰说话者数量下的AVSE做出贡献。我们[8–10]或基于合成的方法[3,11]。许多系统依赖于

1

v的结果显示，在低信噪比、多说话者的环境中，将原始视觉输入[6,7,11]，这需要高计算需求并要求

8AVSR和ASD模型中的嵌入进行拼接提供了最大大量的训练数据。因此，一些工作通过经典方法如

4

4的改进效果，而在仅噪声场景下，AVSR嵌入单独离散余弦变换[12,13]或使用面部特征点[14]来降

1

2表现最佳。此外，我们开发了一个可以在计算机低维度。另外，一些工作也探索了使用编码语音

.

7CPU上运行的实时流系统，并提供视频演示和代相关信息的低维潜在空间中的提取嵌入，例如为

0码仓库。据我们所知，这是首个公开发布的实时音视频同步设计的多模态特征[15]。类似地，从相

5

2AVSE系统的实现。关语音任务中提取的嵌入也被证明是有效的[16]。

:

vIndexTerms:音视频语音增强，多模态机器学虽然AVSE方法在复杂声学环境中表现出显著优

i

x习，语音处理，实时于AOSE的性能，但在实际应用中的部署需要实

r

a时、低延迟的操作。最近，提出了因果AVSE模

1.介绍型。[17]引入了一种深度神经网络，用于估计噪声

环境下的理想二值掩模。[5]提出了一个多阶段门