基于大型语言模型的合成音频对话生成框架使用大型语言模型-计算机科学-大语言模型-合成音频生成-文本到语音.pdfVIP

基于大型语言模型的合成音频对话生成框架

使用大型语言模型

KaungMyatKyaw

InnovativeCognitiveComputing(IC2)ResearchCenter

SchoolofInformationTechnology

KingMongkut’sUniversityofTechnologyThonburi

Bangkok,Thailand

kaungmyat.kyaw@kmutt.ac.th

JonathanHoyinChan

本InnovativeCognitiveComputing(IC2)ResearchCenter

译SchoolofInformationTechnology

中KingMongkut’sUniversityofTechnologyThonburi

Bangkok,Thailand

3

vjonathan@sit.kmutt.ac.th

6

4

9

0摘要—在这篇论文中，我们介绍了ConversaSynth框架，架使用LLMs和文本到语音（TTS）系统生成合成音频

0.该框架旨在使用具有多个角色设置的大型语言模型（LLMs）生对话。ConversaSynth产生具有不同人格特征的对话，

9成合成对话音频。该框架首先创建各种主题下多样且连贯的基

0涵盖广泛的主题，并将它们转换成音频以创建多样化且

4于文本的对话，然后利用文本转语音（TTS）系统将这些对话逼真的数据集。这一资源支持以下应用：

2转换为音频。我们的实验表明，ConversaSynth能够有效地

:

v生成高质量的合成音频数据集，这可以显著提高音频标注、音音频分类：提升模型在识别和分类不同类型的音频

i

x频分类和多说话人语音识别模型的训练和评估效果。结果显示，内容方面的准确性。

r由ConversaSynth生成的合成数据集表现出极大的多样性和

a语音识别与提取：提升模型转录和分割多说话人对

逼真度，使其适合开发稳健且适应性强的基于音频的人工智能

话的能力。

系统。

IndexTerms—大型语言模型（LLM），合成音频生成，对ConversaSynth还允许创建特定的对话主题和说话者属

话式AI，文本到语音（TTS）性，弥补现有数据集中的空白。这种灵活性对于训练在

不同上下文和说话者特征下表现良好的模型至关重要。

I.介绍

总体而言，ConversaSynth解决了当前的局限性，并推

大型语言模型（LLMs）的兴起彻底改变了自然语动了未来机器学习研究与发展中合成音频生成的进步。

言处理，使连贯且与上下文相关的文本生成成为可能。

这一进步促进了对话系统和自动内容创作等多个领域II.文献回顾

的进展。然而，一个尚未充分探索的应用是为多说话者

对话生成合成音频数据集，这对于训练语音相关模型至