INSTRUCT-MUSICGEN：通过指令微调解锁音乐语言模型的文本到音乐编辑功能-计算机科学-文本到音乐生成-AI辅助音乐创作.pdf

INSTRUCT-MUSICGEN：通过指令微调解锁音乐语言模型的文本到音乐编辑

功能

张一晓，池宫优香拉，崔伍相，村田直树，马尔科·阿·玛蒂内兹-拉米雷兹，

李威林，古斯夏，廖伟翔，三藤由贵，西蒙·狄克逊

C4DM,QueenMaryUniversityofLondon

SonyAIMusicXLab,MBZUAI

first.last@qmul.ac.uk,first.last@,{gus.xia,ll4270}@

ABSTRACT

TextdescriptioninputTextinstructionSourcemusic

文本到音乐编辑的任务，利用文本查询来修改音乐（例GeneratemusicpieceofsadjazzInstruction:adddrums.

如通过改变其风格或调整乐器成分），为AI辅助的音T5encoderT5encoder

乐创作带来了独特的挑战和机遇。在此领域的先前方

本MusicGeninstruct-MusicGen

法受限于必须从头开始训练特定的编辑模型，这既耗

译费资源又效率低下；其他研究使用大型语言模型来预MusicoutputEditedmusicoutput

中测编辑后的音乐，导致音频重建不精确。在本文中，我

3们介绍了指令音乐生成器，这是一种新颖的方法，通

vFigure1:MusicGen与instruct-MusicGen的比较。

6过对预训练的MusicGen模型进行微调，以高效地遵循

8诸如添加、删除或分离音轨等编辑指令。我们的方法Instruct-MusicGen接受音频输入和编辑指令文本作为

3条件。

8涉及对原始MusicGen架构的修改，通过加入文本融合

1

.模块和音频融合模块，使模型能够同时处理指令文本

5

0和音频输入，并输出所需的编辑后的音乐。值得注意趣。在音乐制作中，stem（通常由乐器类型相关的轨道

4的是，尽管Instruct-MusicGen仅向原始MusicGen模型混合而成的一组轨道，如鼓或主唱）对于混音和母带

2

:引入了8%的新参数并且只训练了5K步，但它在所处理至关重要，因为它允许制作人隔离、调整和操纵

v

i有任务上的表现都优于现有的基线。这一进步不仅提歌曲的各个元素。遵循MusicMagus[11]中的定义，“文

x

r高了文本到音乐编辑的效率，还扩大了音乐语言模型本到音乐编辑”涉及使用文本查询来修改音乐录音的

a

在动态音乐生产环境中的适用性。12各种方面