使用 U-Net 图像着色器填充 MIDI 力度.pdfVIP

使用U-Net图像着色器填充MIDI力度

ZhanhongHe,DavidCooper,DefengHuang,andRobertoTogneri

UniversityofWesternAustralia,PerthWA6000,Australia

DolbyLaboratories,SydneyNSW2000,Australia

zhanh.he.uwa@

摘要现代音乐制作人通常使用MIDI（乐器数字接口）来存储他们的音乐

作品。然而，用数字软件创建的MIDI文件可能缺乏人类表演的表现力特

本征，本质上使得音量参数——用于控制音符响度的一个控制因素——未定

译义，这默认为一个平坦值。填充MIDI音量的任务被称为MIDI音量预测，

它使用回归模型通过仅调整这一参数来增强音乐的表现力。在本文中，我

中们介绍了U-Net，一种广泛应用于图像着色的架构，并将其应用于此任务。

1通过将MIDI数据视为图像，我们采用了窗口注意力机制并开发了一个定

v制损失函数以解决转换为MIDI图像后的稀疏性问题。当前的数据集可用

1

5性限制了我们的实验仅限于钢琴数据。在MAESTROv3和SMD数据集

7上的评估显示，我们提出的方法在填充MIDI音量方面，在定量指标和定

7性听觉测试中都优于先前的方法。

0

.

8

0Keywords:MIDI速度预测·U-Net·图像着色·音乐表现力。

5

2

:

v1介绍

i

x

rMIDI（乐器数字接口），作为机器和软件可播放的数字化乐谱，是现代

a

音乐制作中的主导格式。类似于乐谱的MIDI文件听起来机械，由于严格的

量化处理。相比之下，如图1所示，从人类表演录制的MIDI文件通过微妙

的时间和响度变化捕捉表演者的技巧，这赋予了表现力[1]。如今，音乐制作

人并不总是擅长演奏乐器[2,3]，且低成本的MIDI键盘可能缺乏复杂的触感

传感器。这导致了对旨在提升MIDI作品表现力的自动化系统的需求。

增强现有MIDI文件的表现力是音乐生成中的一个重要焦点[4]。然而，

许多系统同时修改MIDI的多个方面[5–9]，包括音符时序和响度，有时还

包括音符数量，这可能会引入不必要的改动。每个音乐音符在MIDI文件

中的响度由一个名为MIDI速度的参数控制。研究表明仅渲染MIDI速度可

以增强表现力同时保持原始时序不变，使其成为一种精确且可控的解决方

2Z.Heetal.

案[10]。填充或渲染MIDI速度的任务被先前的研究视为一个序列预测问题，

这些研究采用了自动编码器[11]和序列模型[12]。

图1.MIDI音符的人工演奏力度与音乐软件默认力度（如果用户未指定则为64）