OpenBEATs：一个完全开源的通用音频编码器-计算机科学-机器学习-通用音频理解-音频预训练.pdfVIP

OpenBEATs：一个完全开源的通用音频编码器

ShikharBharadwaj,SamueleCornell,KwangheeChoi,SatoruFukayama,

Hye-jinShim,SohamDeshmukh,ShinjiWatanabe

CarnegieMellonUniversity,USA

NationalInstituteofAdvancedIndustrialScienceandTechnology(AIST),Japan

sbharad2@

摘要—掩码标记预测作为一种强大的预训练目标，在语言、视觉和性能通常与其底层音频编码器[22]的质量密切相关，这强调了需

语音领域中已经崭露头角，提供了通过单一预训练任务统一这些不同模要健壮且通用的编码器。然而，当前文献缺乏一种普遍的音频编

态的潜力。然而，其在通用音频理解中的应用仍然较少被探索，BEATs

码器和标准化跨领域基准以评估泛化能力。为了解决这些限制，

是唯一一个值得注意的例子。由于缺乏开源预训练代码，BEATs的修改

非常有限。此外，BEATs仅在AudioSet上进行过训练，限制了它在更广我们提出了一种在多样化音频域上训练的统一编码器。我们的结

泛下游任务上的适用性。为了解决这些问题，我们提出了OpenBEATs，果验证了多领域预训练可以改善跨领域的泛化能力，并在多个数

这是一个通过多领域音频预训练扩展BEATs的开源框架。我们在六种据集上实现了最先进的性能。

类型的任务、二十五个数据集和三个音频域中进行了全面的评估，包括音频编码器的评估主要局限于在一组狭窄的通用数据集（如

本音频推理任务如音频问答、蕴涵和字幕生成等。OpenBEATs在六个生

AudioSet[23]和ESC-50[24]）上的分类任务。更广泛的评估——

译物声学数据集、两个环境声音数据集以及五个推理数据集上实现了最先特别是在生物声学等专业领域——仍然未被充分探索或推给下游

进的性能，在参数量仅为其他模型四分之一的情况下表现更好。这些结

中果证明了多领域数据集和掩码标记预测任务在学习通用音频表示方面的用户处理。然而，随着ALMs的到来，音频编码器越来越多地用

1有效性。为了促进进一步的研究和可重复性，我们发布了所有预训练和于更复杂的语义任务，如音频字幕生成、音频问答和音频推理，

1

v评估代码、预先训练好的和微调后的检查点以及训练日志。这些任务涵盖了不同的领域。在此设置下，音频编码器不仅要包

9

21.介绍含音频信息，还要包含引导语言模型所需的必要语义信息。这一

1转变凸显了对音频表示进行全面评估的需要，这不仅包括传统的

4自监督学习（SSL）在广泛的音频处理任务中显示出巨大的潜力。

分类任务，还包括跨越生物声学、环境声音和音乐领域的开放性

1它使模型能够学习通用表示，这些表示可以有效地转移到各种下

.和语义丰富的任务。为此，我们通过一个脚本支持多个模型，并

7游应用上。基于SSL的音频编码器(AEs)的著名示例包括BEATs

0[1]、S