基于荷兰档案数据的语音表示自监督学习-计算机科学-自监督学习-大语言模型.pdfVIP

基于荷兰档案数据的语音表示自监督学习

NikVaessen,RoelandOrdelman,DavidA.vanLeeuwen

InstituteforComputingandInformationScience,RadboudUniversity,TheNetherlands

HumanMediaInteraction,UniversityofTwente,TheNetherlands

NetherlandsInstituteforSoundandVision,TheNetherlands

nvaessen@science.ru.nl,rordelman@beeldengeluid.nl,dvanleeuwen@science.ru.nl

Abstract计算预算和数据集规模下，荷兰语单语言预训练

对于荷兰语语音识别是否更有益。

本文探讨了使用荷兰档案电视广播数据进行语音

为了回答这个问题，我们构建了一个55千小

基础模型的自监督学习，特别是wav2vec2.0。我

时的荷兰语音频数据集用于预训练。为此，我们使

们首先研究了预训练的数据质量假设，并展示了

用了来自荷兰声音与视觉研究所的一个（80千小

音乐、噪音和说话人重叠如何影响SSL收敛和下

时）档案荷兰电视广播数据集合。然而，在原始集

本游微调性能。其次，我们探索了有效的预处理策合上进行预训练失败了。因此，我们首先对数据假

译略，通过使用Whisper和WhisperX将嘈杂的广播设和有益的预处理步骤进行了分析。基于典型预

数据集转换为可用于预训练的质量数据集。第三，

中训练数据集[9]的质量，我们推测需要能够容易地

我们将单语种和多语种预训练进行了比较，使用

2将数据集分割成包含语音（话语）的音频序列。这

v等量的数据，并表明单语种预训练对域外数据更

4具鲁棒性。最后，我们通过对wav2vec2.0XLS-R些话语必须相对较短，在1到30秒的数量级上，

5并且整个话语长度都始终包含语音。此外，一段话

5模型检查点进行延续预训练，结合我们的55k小时

4语中的语音必须是单一发言人的。最后，数据集中

0档案数据集，达到了荷兰语言的必威体育精装版大型wav2vec

.背景噪音有限，没有音乐存在，无论是器乐、声乐

72.0模型。

0还是两者的混合。不幸的是，我们收集的荷兰广播

5IndexTerms:自监督学习，数据质量，多语言音频并不立即满足这些条件，这促使我们必须分

2

:析如何有效地清理原始数据集以进行语音SSL。

v1.介绍

i

x