大型语言模型的符号音乐内部感知-计算机科学-大语言模型-神经网络-符号音乐生成.pdfVIP

大型语言模型的

符号音乐内部感知

11

AndrewShin,KunitakeKaneko

1KeioUniversity

shin@inl.ics.keio.ac.jp,kankeo@inl.ics.keio.ac.jp

Abstract性的特性带来了独特的挑战。尽管大型语言模型可以生

大型语言模型（LLMs）擅长建模自然语言中字符串之间成音乐的文字描述甚至歌词，但它们直接产生包含音

的关系，并且在扩展到编码或数学等其他符号领域方面高、时长和力度等信息的结构化音乐数据（如MIDI序

显示出潜力。然而，它们在隐式建模符号音乐方面的程列）的能力却鲜受关注。这一差距尤为重要，因为音乐

度仍处于探索阶段。本文研究了LLMs如何通过从描述为探究大型语言模型如何将模式识别推广到自然语言

本流派和风格组合的文本提示生成符号音乐数据来表示音之外的领域提供了丰富的试验平台，可能揭示它们在字

译乐概念，并通过识别和生成任务评估其效用。我们生成符串建模方面的优势是否也适用于定义音乐世界的时

了一个由LLM生成的MIDI文件的数据集，无需依赖序和和声关系。

中明确的音乐训练。然后我们在这个完全由LLM生成的

在这方面，(Sharmaetal.2024)提供了一个有趣的

1MIDI数据集上训练神经网络，并进行流派和风格分类

v以及旋律补全，将它们的表现与现有模型进行基准比较。基石，在此他们研究了建模字符串之间的关系如何使大

8我们的结果显示，LLMs可以从文本中推断出基本的音语言模型了解视觉世界。他们系统地评估了大语言模型

0

8乐结构和时间关系，既突显了其隐式编码音乐模式的能通过将图像表示为代码来生成和识别视觉概念的能力，

2力，也指出了由于缺乏明确的音乐背景而产生的局限性，从而绕过了这些模型无法直接处理像素的限制。他们的

1.为符号音乐的生成能力提供了见解。发现表明，精确的字符串建模能够使大语言模型编码视

7觉复杂性的各个方面，甚至支持自监督的视觉表示学

0

5介绍习，这表明大语言模型可以超越其文本起源，理解结构

2大型语言模型（LLMs），仅通过大量的文本字符串化、非语言领域。这一见解激发了我们对音乐领域的探

:

v语料库进行训练，已经展示了不仅捕捉语言结构而且索，这是一个同样抽象和结构化的领域，在这里我们假

i

x捕捉嵌入这些字符串中的其他符号领域的复杂方面的设通过类似的文本到符号映射，大语言模型可能会学会

r

a显著能力(Pavlick2023)。这种能力源于它们建模字符涉及流派、风格和旋律的音乐概念，从而提供对其表示

序列之间关系的能力，使它们能够推断和生成远超单能力的一个平行视角。

纯语法的表示形式。例如，LLMs可以生成编程语言中重要的是要承认，当将“理解”一词应用于大型语

的可执行代码，有效地模拟计算逻辑和算法过程，这言模型时，这在人工智能社区内是一个复杂且备受争议

些过程反映了现实世界的问题解决方法(