探索基于状态空间模型的语言模型在音乐生成中的应用-计算机科学-状态空间模型-文本到音乐生成.pdfVIP

探索基于状态空间模型的语言模型在音乐生成中的应用

李维杰谢芳智陈宣俊

蔡方多杨义轩

台湾大学通信工程研究所，台湾

weijaw2000@

ABSTRACT回归方式运行。具体来说，我们使用DescriptAudio

Codec(DAC)[13]作为音频编解码器，并基于SiMBA

最近，状态空间模型（SSMs）[1,2]，特别是Mamba的出

和Transformer架构在相同的训练配置下训练语言模型e

现，已经将它们确立为跨多个领域的强大替代方案或c

（LMs）。我们实证发现，仅建模单层代码本会导致次n

互补模块。在这项工作中，我们旨在探索基于Mambae

r

优的音频保真度，但这样做足以保留音乐中的大部分e

的架构在文本到音乐生成方面的潜力。我们采用残差f

n

语义内容。因此，在初步研究中，我们将我们的建模o

向量量化（RVQ）的离散标记作为建模表示，并实证C

限制为DAC的第一层代码本以降低模型复杂性。5

本发现单层代码簿可以捕获音乐中的语义信息。受此观2

本工作的主要贡献如下：1)我们的工作代表了首0

译察结果的启发，我们将重点放在建模单一代码簿表示次尝试将SiMBA用作文本到音乐生成的解码器架构，2

R

中上，并将原本设计为基于Mamba的编码器的SiMBA旨在探索基于SSM的架构在音频生成方面的潜力。I

M

1调整为用于序列建模的解码器。我们将其性能与标准S