ITO-大师-音乐母带处理程序音频效果建模的推理时间优化-计算机科学-音频处理.pdfVIP

ITO-大师：音乐母带处理程序音频效果建模的推理时间优化

鞠贤马尔科·A.马丁内斯-拉米雷斯廖维翔

吉奥吉奥·法布罗米克·曼库西奥久密つ藤

SonyAI,JapanSonyEuropeB.V.,GermanySonyGroupCorporation,Japan

{firstname.lastname}@

ABSTRACT为满足这一需求，各种自动母带处理系统应运而

生[3–5]。然而，这些系统以无条件方式运行，应用音

音乐母带处理风格迁移旨在建模并应用参考曲目的母频效果时没有直接的用户控制。为了引入适应性，研

带处理特性到目标曲目上，模拟专业的母带处理过程。究了基于参考的方法，其中参考曲目的处理特性被应

然而，现有的方法基于参考曲目进行固定处理，限制用于另一个[6,7]。这些方法旨在匹配如动态范围、音

了用户调整结果以匹配其艺术意图的能力。本文介绍调平衡和立体声宽度等音频特征，为全自动母带处理

本了ITO-Master框架，这是一个结合推理时优化（ITO）提供了一种替代方案。然而，在实现高质量结果和可

的基于参考的母带风格迁移系统，使用户能够对母带控制性方面仍存在重大挑战。

译处理过程进行更精细的控制。通过在推理过程中优化

中参考嵌入ref，我们的方法允许用户动态调整输出，实现有的基于参考的方法可以广泛分为黑箱和白盒

3现微调以获得更精确的母带处理结果。我们探索了建模型。黑盒模型通常基于端到端的神经网络[6]，能够

v模母带处理器的黑盒和白盒方法，并证明ITO提高了有效捕捉高层次的音频模式，但缺乏透明度和可解释

9

8不同风格下的母带处理性能。通过客观评估、主观听性，使得用户难以修改处理过程中的特定方面。相比

8

6觉测试以及使用基于文本条件的CLAP嵌入进行定性之下，白盒模型利用特征匹配算法[7]或可微音频处理

1.分析，我们验证了ITO增强了母带风格相似度的同时器[5]来提供对各个参数更大的控制权。尽管白盒方法

6提供了更高的适应性。我们的框架为母带风格迁移提提供了结构化和可解释的方法[8]，但它们往往受到其

0

5供了一个有效且用户可控的解决方案，允许用户在初可微处理器简单性的限制，可能无法完全复制专业母

2始风格迁移之后进一步优化其结果。带制作中使用的复杂工具。

:

v

i

x在本文中，我们介绍了ITOMaster框架，这是一个

r1.介绍

a基于参考的音乐母带处理效果建模方法，它集成了推

音乐母带处理是音频制作过程中的最后一步，确理时间优化(ITO)，以实现更精细的用户控制。与以往

保专业音质并在各个音乐分发平台上保持一致的播放基于固定处理的风格转换方法不同，我们的方法允许

效果。这一过程包括应用一系列音频效果，如均衡、压用户在初始结果未能完全符合其偏好时动态地细化输

缩、立体声成像和限制等，这些效果共同塑造了声音出。通过在推理过程中优化参考嵌入ref，ITOMaster

特性并提升了整体音质[1,2]。传统上，母带处理需要能够