WildFX：一个用于野外音频效果图建模的 DAW 驱动管道-计算机科学-AI音乐生成-数字信号处理.pdf

WildFX：一个用于野外音频效果图建模的DAW驱动

管道

QihuiYangTaylorBerg-KirkpatrickJulianMcAuley

UCSanDiegoUCSanDiegoUCSanDiego

qiy009@tberg@jmcauley@

ZacharyNovack

UCSanDiego

znovack@

本

译

中Abstract

2尽管端到端AI音乐生成取得了快速进展，基于AI的专业数字信号处理

v

4（DSP）工作流程建模仍具挑战性。特别是，虽然对音频效果图的神经黑盒建

3模（例如混响、压缩、均衡器）的兴趣日益增加，但基于AI的方法难以复制

5

0专业工作流中使用的细微信号流动和参数交互。现有的可微插件方法通常

1与现实世界的工具不符，在等同计算约束下相对于简化的神经控制器表现

.

7出较差性能。我们介绍了野外观测效应，一个使用Docker容器化生成具有

0丰富效果图的多轨音频混音数据集的管道，由专业数字音频工作站（DAW）

5

2后端驱动。野生FX支持跨平台商业插件或任何野外插件的无缝集成，在

:VST/VST3/LV2/CLAP格式下实现结构复杂性（例如侧链、交叉器），并实现

v

i高效的并行处理。极简元数据接口简化了项目/插件配置。实验通过盲估计

x

r混音图、插件/增益参数，证明了该管道的有效性及其将AI研究与实际DSP

a

需求相连接的能力。代码可在/IsaacYQH/WildFX获得。

1介绍

近期在大规模音乐生成[1,5,19,8,28]领域的进步已经提供了从单个乐器样本生成器[18,17]

到完整的文本到歌曲模型[28]等出色的端到端系统。从基于研究的开源模型如StableAudio

Open[7]和YuE[28]，再到商业系统如Suno和Udio，这些生成式模型已经展示了人工智能在

革命性创意音频工作流程方面的潜力。尽管在生成建模方面取得了这些成就，现代AIxMusic

研究与构成现代音乐制作核心的专业数字信号处理（DSP）工具之间仍存在显著的脱节，在

全栈歌曲生成方法中缺乏灵活性和融入专业音乐工作流程的能力。

这种脱节已经激发了大量的研究努力，投入到神经音频效果建模（NeuralAFx）中，它可以

作为AI能力和传统DSP技术之间的桥梁[15,9,21,20,22]。此类研究涵盖了从简单的判别

任务如插件识别[2]，到参数估计[16]，完整AFx图估计[12]，效果建模[3,27]，风格迁移

[23]，以及更广泛的AI辅助混音和母带处理[10]。特别是，许多这样的研究都是由构建传统

DSP模块的可微的等价物这一原则指导的，从而使得部分或完全神经AFx插件和分析工具

Preprint.

成为可能。近年来，这些方