多采样频率自然度 MOS 预测使用自监督学习模型与采样频率独立层-计算机科学-机器学习-自监督学习-知识蒸馏.pdfVIP

多采样频率自然度MOS预测使用自监督学习

模型与采样频率独立层

GoNishikawa,WataruNakata,YukiSaito,

KanamiImamura,HiroshiSaruwatari,andTomohikoNakamura

TheUniversityofTokyo,Japan,NationalInstituteofAdvancedIndustrialScienceandTechnology,Japan.

{nakata-wataru855,sythonuk}@g.ecc.u-tokyo.ac.jp(:equalcontributions)

摘要—我们介绍了我们的参赛作品到AudioMOS挑战赛在本文中，我们介绍了我们的MOS预测模型

（AMC）2025赛道3：具有多种采样频率（SFs）的语音均意“MSR-UTMOS”，该模型能够处理具有多个采样频率

见分（MOS）预测。我们提交的模型在自监督学习（SSL）模的语音，并为音频MOS挑战（AMC）2025赛道3开发。

型中集成了一个与采样频率无关（SFI）的卷积层，以实现用于

本这一研究方向旨在准确预测以16kHz、24kHz和48kHz

MOS预测的SFI语音特征提取。我们提出了一些策略来提高我

译们的模型的MOS预测性能：从预训练的非SFI-SSL模型中提采样频率合成语音进行自然度MOS测试的结果。我们

中炼知识以及使用大规模MOS数据集进行预训练。我们在AMC的核心贡献是在SSL模型中集成了一个采样频率独立

12025赛道3中的提交在一项评估指标上排名第一，在最终排名（SFI）卷积层[?]。我们称这种架构为“SFI-SSL模型”。

v中位列第四。我们还报告了我们的消融研究的结果，以调查我们SFI层根据输入信号的采样频率调整其权重，使单个

7

4模型的关键因素。MOS预测模型能够处理不同采样频率的语音，包括那

6IndexTerms—AMC2025赛道3，SSL模型，MOS

4些使用高于训练Nyquist频率的频率分量的语音。我们

1.预测，SFI卷积层，知识蒸馏。在AMC2025Track3中的提交在句子级别的均方误差

7

0（MSE）排名中名列第一，并且基于系统级Spearman等

5I.介绍级相关系数（SRCC）的最终排名中位列第四。我们还报

2

:随着基于深度神经网络（DNN）的语音合成技术的告了消除研究的结果，以调查模型中的重要因素：SFI-

v

iSSL、用于初始化SFI-SSL模型参数的知识蒸馏（KD），

x发展[?],[?],[?]，公平地比较和评估语音合成系统对于

r进一步发展至关重要。平均意见得分（MOS）测试是评以及在MOS预测上对模型进行微调。代码和预训练的

a

价合成语音自然度的金标准，依赖于耗时且昂贵的人工SFI-SSL模型在线可用。

标注。为了缓解这一问题，基于DNN的MOS预测模II.AMC2025赛道3

型[?],[?],[?],[?],[?],[?]作为替代主观评估的方法应一般规则：此任务包括训