DiceHuBERT: 使用自监督学习目标提炼 HuBERT-计算机科学-知识蒸馏-语音基础模型-自监督学习.pdfVIP

DiceHuBERT:使用自监督学习目标提炼HuBERT

HyungGunChi,ZakariaAldeneh,TatianaLikhomanenko,OggiRudovic,Takuya

Higuchi,Li-WeiChen,ShinjiWatanabe,AhmedHussenAbdelaziz

Apple,CarnegieMellonUniversity,Meta

hchi23@

Abstract与学生模型之间的层级特征来进行知识蒸馏。然

而，它们往往忽略了原始的SSL目标，并对学生

我们引入了DiceHuBERT，这是一个用于压缩广

模型施加了架构约束。

泛使用的基于自监督学习（SSL）的语音基础模型

在本文中，我们介绍了DiceHuBERT，距离

HuBERT的知识蒸馏框架。与现有的依赖于教师

仍从聚类这ntroidsHuBERT中提取，以解决上述

模型和学生模型之间层级和特征级映射的蒸馏方

限制。DiceHuBERT使用与教师模型相同的SSL

本法不同，DiceHuBERT通过直接用学生模型替换目标进行训练，通过教师模型特征的-均值[26]

原始模型来利用HuBERT的迭代自我蒸馏机制。

译这种替换使得学生模型可以使用相同的SSL目标质心生成的目标发生知识蒸馏，如Figure1（a）

中进行训练，从而消除对额外模块或架构约束的需所示。DiceHuBERT是一个简单而有效的蒸馏框

1求。SUPERB上的实验结果表明，DiceHuBERT架。与主要关注特征蒸馏的现有方法不同，参见

v

1在性能上始终优于现有的蒸馏方法，语音识别准Figure1（b），DiceHuBERT利用了HuBERT预

1训练中的迭代自蒸馏，其中知识逐步从每次迭代

9确率提高了超过%，而ASR性能则提升了超过

2%。此外，DiceHuBERT在多个任务中表现出竞传递到下一次迭代。基于这种固有的自蒸馏机制，

0

.DiceHuBERT是HuBERT的自然扩展，它能够

7争力，突显了其明显优势。

0IndexTerms:知识蒸馏，语音基础模型，自监在不需额外模块的情况下，在HuBERT框架内实

5现高效压缩。

2督学习

:在我们的方法中，学生模型的架构不受限制，

v

i因为蒸馏仅依赖于教师模型生成的目标标签。相

x1.介绍

r