揭示基于俄罗斯语音语料库的 HubertSoft 嵌入中的隐藏时间结构-计算机科学-自监督学习-语音表示-音频处理.pdfVIP

揭示基于俄罗斯语音语料库的HubertSoft嵌入中的隐

藏时间结构

AnastasiaAnaneva,Anton

Tomilov,andMarinaVolkova

ITMOUniversity,SaintPetersbourg,Russia464995@niuitmo.ru

STC-innovationsLtd.,Russia

{tomilov,volkova}@

本

译摘要自监督学习（SSL）模型，如Wav2Vec2.0和HuBERT，在无需标记

数据的情况下从原始音频中提取音素信息方面表现出显著的成功。虽然先

中前的研究表明SSL嵌入在帧级别编码了音素特征，但这些模型是否保留时

1间结构仍然不清楚，特别是边界处的嵌入是否反映了相邻音素的身份和顺

v序。本研究探讨了HubertSoft（HuBERT的一种软聚类变体）边界的敏感

4

9性嵌入对音素转换的编码程度。使用CORPRES俄罗斯语音语料库，我们

7将20毫秒的嵌入窗口标记为对应其开始、中心和结束段落的三元组音素。

6

0训练了一个神经网络来单独预测这些位置，并使用多种评估指标（如有序

7.准确性、无序准确性和灵活的中心准确性）来评估时间敏感性。结果显示，

0在音素边界处提取的嵌入既捕捉了音素的身份，也捕捉了时间顺序，尤其

5是在段落边界处具有特别高的准确性。混淆模式进一步表明该模型编码了

2

:发音细节和共发音效应。这些发现有助于我们理解SSL语音表示的内部结

v

i构及其在音系分析和精细转录任务中的潜在应用。

x

r

aKeywords:时间嵌入结构·音素嵌入分析·自监督学习·HubertSoft.

1介绍

自监督学习（SSL）模型，如Wav2Vec2.0[1]和HuBERT[2]，通过

无需标记数据即可提取丰富的语音信息显著推进了语音表示学习领域。嵌入

通常包含大量用于深度伪造检测的信息[3]。这些模型在音素分类、自动语

音识别和发音特征预测等任务中表现出色。然而，这些嵌入如何编码音素边

界以及是否也编码了时间结构的问题仍然没有得到充分探索。

Correspondingauthor

2A.Ananevaetal.

已经表明，SSL嵌入编码了可以通过监督探测访问的时间局部化的语

音线索[4]。例如，线性或浅层MLP探测器有效地预测了诸如发音位置、

方式和声调等语音特征，这些都在帧级别上进行的[5,6]。这些工作使用

Wav2Vec2.0确认嵌入空间中的过渡与音素边界紧密对齐，从而间接证明了

时间结构编码的存在。其他方法追踪发音特征轨迹或分析音素转换处的嵌入

差异，进一步支持存在敏感于边界的表示形式[7]。

音素特征也反映在使用HuBERT[10,11]接收的嵌入中。然而，这些研

究主要集中在嵌入中编码的一些音素特征上。例如，HuBERT嵌入通过编