基于荷兰档案数据的语音表示自监督学习-计算机科学-语音基础模型-自监督学习.pdf

基于荷兰档案数据的语音表示自监督学习

NikVaessen,RoelandOrdelman,DavidA.vanLeeuwen

InstituteforComputingandInformationScience,RadboudUniversity,TheNetherlands

HumanMediaInteraction,UniversityofTwente,TheNetherlands

NetherlandsInstituteforSoundandVision,TheNetherlands

nvaessen@science.ru.nl,rordelman@beeldengeluid.nl,dvanleeuwen@science.ru.nl

Abstract的计算预算和数据集规模下，荷兰语单语言预训

练是否对荷兰语语音识别更有益。

本文探讨了使用荷兰档案电视广播数据进行语音

为了回答这个问题，我们构建了一个用于预

基础模型自监督学习的应用，特别是wav2vec2.0。

训练的55千小时荷兰语音频数据集。为此，我们

我们首先研究预训练的数据质量假设，并展示音

利用了来自荷兰声音与视觉研究所的一批（80千

乐、噪声和说话人重叠如何影响SSL收敛以及下

小时）存档荷兰电视广播数据。然而，在原始集合

本游微调性能。其次，我们探索有效的预处理策略，上进行预训练失败了。因此，我们首先对数据假

译通过使用Whisper和WhisperX将嘈杂的广播数设和有益的预处理步骤进行了分析。基于典型预

据集转换为适合预训练的质量数据集。第三，我们

中训练数据集[9]的质量，我们推测需要能够将数据

将单语种和多语种预训练进行了对比，使用等量

2集分割成包含语音（话语）的音频序列。这些话语

v的数据，并表明单语种预训练对领域外数据更为

4稳健。最后，我们通过对wav2vec2.0XLS-R模型必须相对较短，在1到30秒的范围内，并且整个

5话语长度都包含语音。此外，话语中的语音必须

5检查点进行持续预训练，利用我们的5.5万小时档

4来自单个说话人。最后，数据集中背景噪音有限，

0案数据集，达到了荷兰语言的必威体育精装版大wav2vec2.0

.并且不存在任何形式的音乐，无论是器乐、声乐还

7模型。

0是两者的混合。不幸的是，我们收集的荷兰广播音

5IndexTerms:自监督学习，数据质量，多语言频并没有立即满足这些条件，这促使我们需要分

2

:析如何有效地清理原始数据集以进行语音SSL。

v1.介绍

i

x