基于聚类的难样本挖掘用于监督对比说话人验证-计算机科学-机器学习-语音处理-说话人验证-监督对比学习.pdfVIP

基于聚类的难样本挖掘用于监督对比说话人验证

PiotrMasztalski,MichałRomaniuk,JakubŻak,MateuszMatuszewski,Konrad

Kowalczyk

SamsungRDInstitutePoland,

AGHUniversityofKrakow,Poland

{p.masztalski,m.romaniuk2,j.zak,m.matuszews2}@,konrad.kowalczyk@.pl

Abstract其中一些报告了与基于分类的方法相当甚至更好

的性能[7,8,9]。说话人验证中的对比方法主要是

在说话人验证中，对比学习作为一种替代传统的

在自监督学习（SSL）中探索的[10,11,12,13,14]。

基于分类的方法而越来越受欢迎。对比方法可以

大多数SSL方法都是基于从图像表示学习中适应

受益于有效使用困难负样本对，这些不同类别的

过来的SimCLR框架[15]，该框架通过最大化同一

样本由于其相似性特别具有挑战性，对于验证模

样本的不同增强视图之间的协议（正对），同时最

型来说难以区分。本文提出了一种基于聚类的困

本大化不同样本之间的距离（负对）。训练目标是使

难负采样方法CHNS，专门用于监督对比说话人

译用归一化的温度缩放交叉熵（NTXent）损失实现

表征学习。我们的方法将相似说话人的嵌入进行

中的，该损失将一对正样本的相似性与一批中的锚

聚类，并调整批量组成以在计算对比损失时获得

1点和负例之间的相似性进行对比。由于基于SSL

v困难和简单负样本的最佳比例。实验评估显示，的SV缺乏类别标签，正对通常通过增强同一音

0CHNS优于基线监督对比方法（无论是否使用基

4频话语来构建，这可能会导致模型学习频道特征

5于损失的困难负采样）以及最先进的基于分类的

7（例如录音设备、声学环境），而不是语音依赖特性

1.说话人验证方法，在VoxCeleb数据集上使用两种[10]。此外，对于SSL的一个必要假设是当随机抽

7轻量级模型架构时相对EER和minDCF最多提取两个音频话语时总是获得来自两位不同说话人

0高了18%。

5的片段，但这并不总成立，并可能导致在损失计算

2IndexTerms:说话人验证，监督对比学习，硬

:中注入错误的负样本。

v负例采样，聚类

i监