高分辨率钢琴音频踏板深度估计跨房间声学-计算机科学-神经网络-音频处理.pdfVIP

高分辨率钢琴音频踏板深度估计跨房间声学

kun方汉文张子渝王二郎藤永

麦吉尔大学纽约大学音乐X实验室，MBZUAI

音乐媒体与技术跨学科研究中心（CIRMMT）

ABSTRACT模拟延音踏板的效果，如[3]中所指出的。

然而，在音乐信息检索（MIR）中，许多研究采

钢琴延音踏板的检测之前被当作一个二元开关分类任

用了“延音踏板检测”这一术语，并将该问题视为二

务来处理，这限制了它在真实钢琴演奏场景中的应用，

元分类问题[4–8]，忽略了中间状态的细微差别。最近

在这些场景中，踏板深度显著影响音乐表达。本文提出的研究[6–8]也主要使用了MAESTRO数据集[9]，这

了一种新的高分辨率估计方法，该方法预测连续的踏

是目前最大的一组配有音频和MIDI文件的数据集合

板深度值。我们介绍了一个基于Transformer的架构，之一，这些文件是在YamahaDisklaviers（具有高精度

不仅在传统的二元分类任务上达到了最先进的性能，MIDI捕捉和回放系统的声学大钢琴）上录制的。不幸

本还在连续踏板深度估计方面实现了高精度。此外，通的是，MAESTRO录音的房间条件完全未知且可能难

过估算连续值，我们的模型为延音踏板的使用提供了

译以预测。这进一步引发了关于仅在MAESTRO数据集

具有音乐意义的预测，而基线模型则难以捕捉这种细

中上训练的模型是否能在不同声学环境中泛化的疑问，

微表达，因为它们采用的是二元检测方法。另外，本文

1除了二元分类固有的过度简化之外。

v还研究了房间声学对延音踏板估计的影响，并使用了

0为此，我们将任务重新定义为连续延音踏板深度

一个包含不同声学条件的合成数据集进行了实验。我

3估计，将其构架为一个回归问题。我们提出了一种具

2们用不同的房间设置组合训练我们的模型，并在未见

4有传统结构的Transformer模型，该模型包括用于特征

0.过的新环境中使用“留一法”进行测试。我们的研究提取的卷积层，随后是n层Transformer编码器。此外，

7结果显示，两个基线模型和我们的模型都对未见过的我们采用了一种混合评估策略，结合了在各种二值阈

0房间条件不够鲁棒。统计分析进一步证实了混响影响

5值下的分类F1分数与连续平均绝对误差（MAE）。我

2模型预测并引入了高估偏差。

:们的结果显示，当将基线二进制预测视为连续值时，我

v

i们的连续方法在定量和定性上都优于二进制模型，并

x