小夜曲：一种基于音频插值的歌唱风格转换框架-计算机科学-歌唱风格转换-音频插值-深度学习.pdfVIP

小夜曲：一种基于音频插值的歌唱风格转换

框架

LesterPhillipVioletaWen-ChinHuangTomokiToda

GraduateSchoolofInformaticsGraduateSchoolofInformaticsInformationTechnologyCenter

NagoyaUniversityNagoyaUniversityNagoyaUniversity

Nagoya,JapanNagoya,JapanNagoya,Japan

摘要—我们提出了Serenade，一个用于歌唱风格转换上相似，但在相似度评分上有很大的差距。分析结果

（SSC）任务的新框架。尽管歌手身份转换在过去几年取得了后，我们发现评估真实录音也很困难，因为演唱风格显

本很大进展，但转换歌手的歌唱风格仍是一个未被探索的研究领著影响了对歌手身份的认知。

域。我们在SSC中发现了三个主要挑战：建模目标风格、解耦

译因此，由于歌唱声音包含比歌手身份更复杂和特定

源风格和保留源旋律。为了建模目标歌唱风格，我们使用音频填

中充任务，通过预测目标mel谱图中的掩码片段来实现，该预测的特征，控制歌唱风格具有更多的实际应用价值并且需

2使用了流匹配模型，并结合了未被掩盖的目标mel谱图以及解要进行研究以推动该领域的发展。之前，发布了带有各

v

8耦的声学特征。另一方面，为了解耦源歌唱风格，我们采用了一种歌唱风格标签的SingStyle111[5]，开启了这一任务的

8种循环训练方法，在这种方法中，我们将合成转换样本作为源输可能性。还发布了一个名为GTSinger[6]的大规模开源

3入，并将原始源mel谱图重建为目标。最后，为了更好地保留

2数据集，其中包含以不同歌唱风格演唱的各种平行歌曲

1源旋律，我们研究了一个基于源滤波器的声音编码器的后处理

.短语的歌唱数据。随着GTSinger的发布，现在可以探

3模块，并使用原始F0模式重新合成转换后的波形。我们的结果

0显示，Serenade框架能够以最佳的整体相似度得分处理泛化的索新的VC子应用，如歌唱风格转换（SSC）。由于这些

5SSC任务，特别是在建模气声和混合歌唱风格方面。我们还发数据集是新的，SSC是一个相对未被探索的任务。

2

:现，使用原始F0模式进行重合成减轻了走音现象并提高了自然在这项工作中，我们研究了新颖的SSC任务，并

v

i度，但由于没有将F0模式改变为目标风格，因此在相似度上略

x提出了一种称为Serenade的框架来完成此任务。我们

r有权衡。

aIndexTerms—歌唱风格转换，音频插值，循环训练，声识别出在完成这项任务时存在三个主要挑战。首先，我

码器后处理们需要开发一个能够准确建模参考歌手演唱风格的强

大框架。其次，我们必须成功分离源歌手的演唱风格以

I.介绍确保高质量合成。最后，除了捕捉演唱风格外，我们还

声纹转换（VC）[1],[2],[3]，即在保持语言信息不变需要保留原始旋律并在正确的音符上合成波形以避免

的情况下改变说话人信息的任务，在生成式AI时代经跑调。

历了快速的变化。几种VC方法最早是在2016年Voice特别是，我们通过采用文本到语音（TTS）[7],[8],

ConversionChallenge（VCC）[1]中广泛比较的。更难的[9],[10]中