音乐飞回标枪-重复使用扩散模型进行数据增强和音频操作-计算机科学-扩散模型-音频处理.pdfVIP

音乐飞回标枪：重复使用扩散模型

进行数据增强和音频操作

AlexanderFICHTINGER1,JanSCHLÜTER(0000-0003-3862-6888)1,andGerhardWIDMER(0000-0003-3531-1282)1,2

1InstituteofComputationalPerception,JohannesKeplerUniversityLinz,Austria

2LITAILab,LinzInstituteofTechnology,Austria

ABSTRACT

音乐音频的生成模型通常仅基于文本提示或旋律来生

成输出。Boomerang采样最近在图像领域被提出，它允

许使用任何预训练的扩散模型生成接近现有示例的输

出。在这项工作中，我们探索了其在音频领域的应用，

本作为一种数据增强或内容操纵工具。具体来说，我们

译在StableAudioOpen中实现了Boomerang采样，以增

中强最先进的节拍跟踪器的训练数据，并尝试替换录音(a)扩散(b)飞镖抽样

中的乐器。我们的结果显示，现有示例的节奏结构大

1Figure1.(a)扩散模型可以将纯粹的噪声逐渐转化为

v部分被保留下来，它提高了节拍跟踪器的性能，但仅在音频。(b)从一个稍微带有噪声的真实示例开始会导致

4训练数据有限的情况下有效，并且它可以实现基于文

6该示例的变化。在这两种情况下，采样都可能由文本

8本的单声道输入乐器替换。我们发布了我们的实现以控制。

4邀请其他任务的数据增强实验并进一步探索其应用。

0

.

7在这项工作中，我们使用预训练的扩散模型将

01.介绍Boomerang采样适应到音频领域。我们探讨了两种情

5

2生成模型旨在学习数据的潜在概率分布，然后生况：1）在保持节奏和tempo等重要特征的同时创建不

:

v成与训练数据集特征匹配的新样本。在音乐生成领域，受控的轻微变化；2）内容的受控操纵。对于第一种情

i

x这些模型必须捕捉定义旋律、节奏和和声等要素的复况，我们评估Boomerang采样是否适合作为机器学习

r

a杂分布。扩散模型[1]特别是当前最先进的技术。这任务的数据增强方法，并将其与现有的节拍和下拍跟

些模型使用迭代去噪过程将随机噪声转化为结构化的踪中的增强方法进行比较。对于第二种情况，我们提

音频，使得诸如音乐生成[2]、语音合成[3]和声音设供了音乐音色变换的例子。

计[4]等应用成为可能。下一节总结了相关前期工作。第3节介绍了

对于大多数应用，生成是通过纯噪声启动的（图Boomerang抽样，第4节详细描述了我们在音频领域

1a），这被称为全局采样。最近的工作探索了替代的应用。第5节描述了我们的实验结果，第6节总结

采样策略以提高效率或实现更受控的生成。其中，了论文。

Boomerang方法[5]最初用于图像生成，展示了一种

局部采样的方式，通过部分地向输入样本添加噪声，2.相关工作

然后使用