基于Transformer的情感音乐生成研究.pdfVIP

摘要

随着人工智能技术的不断发展，深度学习在算法作曲领域展现出了巨大的潜力，

目前利用深度学习技术来创作音乐已经逐渐成为一个热门的研究领域。算法作曲不仅

能够激发作曲家们的创作灵感，而且也能够让广泛的非专业人士参与到音乐创作当中，

享受创作的乐趣。

本文的主要研究目的是利用神经网络强大的特征学习能力，学习音乐的各种特征，

生成具有和谐性、旋律性以及能够进行情感表达的音乐，从而解决在不同情感条件下，

生成音乐质量不高，情感表达不准确的问题。本文主要研究内容包括基于离散情感值

的可控情感音乐生成和基于连续情感值的可控情感音乐生成，主要工作和创新点如下：

（1）针对符号情感音乐表示缺失的问题，本文提出了一种新的情感音乐表示方

法REMI-EMO来表示音乐的情感，将数据集提供的情感标签添加到音乐的序列化表

示当中，为模型增添了音乐情感信息，增强了模型生成可控情感音乐能力。

（2）为了解决离散情感值条件下的情感音乐生成质量低的问题，本文提出了

Discrete-EmoTransformer情感音乐生成模型，该模型使用了片段递归机制和相对位置

编码来处理长音乐序列，并使用Flash注意力机制来替代传统的自注意力机制，提高

了模型处理长序列的速度和训练效率，与基于PopMusicTransformer、ConpoundWord

Transformer和mLSTM的音乐生成模型进行对比，在困惑度、音高类别、节奏一致

性、空拍率四个客观评价指标上，模型生成的音乐与数据库原始音乐更相似，整体具

有较高的和谐性和旋律性，同时能够反映特定的情感。在主观实验上，本文生成的音

乐更接近人类作曲水平，情感表达更具有表现力和准确度。

（3）为了解决连续情感值条件下的情感音乐生成质量低的问题，本文提出了

Continuous-EmoTransformer情感音乐生成模型，该模型以二维连续情感值Arousal

和Valence为情感条件，通过一个情感增强模块将音乐特征复调率与音符密度进行多

特征融合，从而将数据集Lakh-Spotify提供的低级情感标签Arousal标签转化为高级

标签。为了增强情感条件对模型的控制，采用了注意力内条件控制机制来调控情感条

件的传播，强化了模型学习音乐情感特征的能力。客观实验分析表明，本文模型生成

的情感音乐在流畅度、节奏一致性、结构完整性和情感可控度上均优于对比模型。此

外，通过一项用户调研表明Continuous-EmoTransformer模型生成的可控情感音乐更

加真实，能够传达预期的情感。

关键词：深度学习；音乐生成；情感表示；Transformer；算法作曲

ABSTRACT

Withthecontinuousadvancementofartificialintelligencetechnology,deeplearning

hasdemonstratedsignificantpotentialinthefieldofalgorithmiccomposition.Today,using

deeplearningtechnologytocreatemusichasbecomeanincreasinglypopularresearcharea.

Algorithmiccompositionnotonlyinspirescomposerscreativitybutalsoenablesabroad

rangeofnon-professionalstoengageinmusiccreation,enjoyingtheprocessofcomposing.

Theprimaryobjectiveofthisthesisistoharnesstherobustfeaturelearning

capabilitiesofneuralnetworkstounderstanddiversemusicalelementsandgeneratemusic

encompassingharmony,melody,andemotionalexpression.Thisaddressesthe