G-IFT：一种具有迭代微调的门控线性单元适配器，用于低资源儿童说话人验证.pdfVIP

G-IFT：一种具有迭代微调的门控线性单元适配器，用于低资源儿童说话

人验证

VishwasShetty*,JiusiZheng*,AbeerAlwan

DepartmentofElectricalandComputerEngineering,,UniversityofCalifornia,LosAngeles,

USA

shettyvishwas@ucla.edu,zheng94@ucla.edu,alwan@ee.ucla.edu

Abstract用于儿童语音时，由于成人和儿童语音之间存在

显著的声学差异[7]，它们经常面临挑战。使用基

语音验证（SV）系统在成人语音上训练时，往往

于成人语音初步训练的预训练模型并用儿童语音

因声学差异而在儿童SV上的表现不佳，而有限的

数据进行微调是广泛采用的一种策略。然而，用有

儿童语音数据使得微调效果不显著。本文提出了

限的儿童语音数据对预训练验证模型进行微调可

一种创新框架——带迭代微调的门控线性单元适

能无法充分解决由于儿童语音资源稀缺导致的声

配器（G-IFT），以提高高资源成人语音领域和低

本学不匹配问题，从而导致知识转移效率低下，并因

资源儿童语音领域之间的知识迁移效率。在该框

译此在目标领域适应方面表现不佳[8,9]。

架中，首先将一个门控线性单元适配器插入预训

中练说话人嵌入模型与分类器之间。然后迭代地依为了解决儿童语音数据稀缺的问题，研究人

1次优化分类器、适配器和预训练说话人嵌入模型。员主要采用了两种策略。第一种是跨域数据增强

v

6此框架对SV系统的底层架构类型不敏感。我们[10,11,12,13]，通过添加扰动后的成人语音数

3在ECAPA-TDNN、ResNet和X-vector架构上使据来补充现有的儿童语音数据，使其声学特性类

8

7用OGI和MyST数据集的实验表明，G-IFT框架似于儿童的语音。这包括修改说话速率、音高、

0

8.相较于基准方法，在等错误率方面表现出一致的时长和声道长度等参数来扰动成人语音的方法，

0降低。以及利用循环一致性的生成对抗网络（GAN）进

5IndexTerms:说话人验证，儿童语音，领域适行语音转换，将成人语音转化为类似儿童的语音

2

:应，低资源场景[11,12,13]。

v

i另一种策略涉及模型级别的调整，包括优化模

x

r型架构[14]、设计更有效的损失函数[15]以及使用

a1.介绍

儿童语音对预训练的成人SV模型进行微调[16]。

随着技术创新的兴起，儿童越来