SEF-MK：通过多 k 均值量化实现无说话人嵌入的声音匿名化.pdfVIP

SEF-MK：通过多k均值量化实现无说话人嵌

入的声音匿名化

唐贝龙苗晓晓

杜克昆山大学，中国杜克昆山大学，中国

beilong.tang@小小.喵@杜克昆山.教育.cn

王欣李明

日本国家信息学研究所杜克昆山大学，中国

wangxin@nii.ac.jpming.li369@

摘要—语音匿名化通过隐藏身份来保护说话者的隐私，同（VAS）的地方[2]–[5]。具体来说，VAS处理原始语音

本时保留语言和副语言内容。自监督学习（SSL）表示编码了语言以生成经过匿名处理的输出，在这些输出中删除了可识

译特征但保留了说话者特征。我们提出了一种名为SEF-MK的别说话人的信息（隐私），而保留诸如语言内容和情感

无说话人嵌入框架。该方法不是使用在整个数据集上训练的单一

中表达等重要属性，以便使用匿名后的语音进行各种下游

k-means模型，而是通过随机选择多个k-means模型中的一个

1来对每个语音片段的SSL表示进行匿名处理，每个模型都是在任务（实用性）。这种匿名化的语音可以公开分享，缓

v

6不同说话者子集上训练的。我们从攻击者和用户两个角度探讨了解对来源说话人身份被滥用的担忧。

8这一方法。大量实验表明，与单个k-means模型相比，使用多有两种主流的声音匿名化方法。基于数字信号处理

0

7个k-means模型的SEF-MK更好地保留了用户的语言和情感（DSP）的方法是无需训练的方法，从语音生成的角度

0内容。然而，从攻击者的角度来看，利用多个k-means模型增

.修改语音特征以掩盖说话人的身份。技术包括改变共振

8强了隐私攻击的有效性。这些见解可以帮助用户设计语音匿名化

0系统以减轻攻击威胁。1峰～[6]–[8]、更改语速～[9]以及修改其他声道或声源

5IndexTerms—语音匿名化，无需说话人嵌入，多k均值特性～[10]。然而，基于DSP的方法通常会遭受内容

2

:失真，并且通常对更强的攻击者无效～[2],[11],[12]。

v

iI.介绍基于深度神经网络（DNN）的方法通常更有效，并

x

r

a基于语音的人机交互正变得越来越普遍，为我们的借鉴了神经语音转换和语音合成的技术。一个简单直接

日常生活提供了极大的便利。然而，在没有适当保护的的解决方案是首先使用自动语音识别（ASR）系统将语

情况下将原始音频记录上传到社交媒体可能会导致个音转录为文本，然后通过文本到语音（TTS）模型重新

人身份信息泄露[1]。一种额外的保护形式是对话语进合成语音[13]。虽然这种ASR+TTS管道已被证明能够

行加密，从而限制非预期接收者的访问，并仅允许授权有效隐藏说话人的身份，但它通常会损害原始语音的实

用户使用解密密钥恢复语音。然而，这种方法有效地阻用性。具体来说，不可避免的转录错误以及重要副语言

止了开放交流，并不适合面向公众的应用程序。大多数线索如情感、语调和口音的丢失可能会降低匿名输出的

情况下，用户希望传达其言语的内容和情感语气，同质量和表现力。

时隐藏他们的身份。这就是提出了一种语音匿名系统广泛使用的基于DNN的方法主要依赖于解纠缠表

示学习，并且依靠显式的说话人建模，通常使用预训练