SDBench：一套全面的说话人分离基准测试套件-计算机科学-人工智能-说话人分割-设备端推理.pdf

SDBench：一套全面的说话人分离基准测试套件

BerkinDurmus,BlaiseMunyampirwa,EduardoPacheco,AtilaOrhon,Andrey

Leonov

ArgmaxInc,USA

UniversityofCaliforniaLosAngeles,USA

eduardo@

Abstract

即使是最先进的演讲者分割系统在不同数据集上

的错误率也表现出高度的差异，这些数据集代表

了众多使用场景和领域。此外，比较不同系统需

要谨慎应用最佳实践，如数据集拆分和指标定义，

本以便进行公平对比。我们提出了SDBench（演讲

译者分割基准测试），一个开源的基准套件，它整合

中了13个多样化的数据集，并内置了工具以实现对

各种设备端和服务器端系统的演讲者分割性能的

1

v一致性和细粒度分析。图1:DER与速度因子：(a)Pyannotev3.1和

61

SDBench使可重复评估成为可能，并随着时间的

3SpeakerKit；SpeakerKit在实现相当的DER同时，

1推移轻松集成新系统。为了证明SDBench的有效

6实现了9.6倍的速度提升，(b)6个说话人分割系

1性，我们构建了SpeakerKit，一个专注于推理效率统跨越了13个数据集。圆圈标记表示每个数据集

7.的系统，基于Pyannotev3建立。SDBench实现了的结果，而星形标记表示跨数据集的聚合。

0快速执行消融研究，使得SpeakerKit比Pyannote

5

2v3快9.6倍，同时达到可比较的错误率。我们对

:包括Deepgram、AWSTranscribe和PyannoteAI从每个演讲者片段中提取具有区分性的表示，最

v

i

xAPI在内的6个最先进的系统进行了基准测试，揭后(iii)聚类根据演讲者嵌入按演讲者身份对片段

r

a示了准确性和速度之间的关键权衡。进行分组。Pyannote[4]是一个开源的说话人分割

项目，实现了这种多阶段架构。虽然这种架构有利

IndexTerms:说话人分割，推理，设备端推理，于针对各个阶段进行改进，但研究人员需要高级

基准测试工具来进行细粒度的错误分析和分阶段评估以追

求这些改进。

1.介绍和相关工作最先进的说话人分割系统最近达到了商业

上可用的质量，促使公司通过服务器端API

演讲者分割，即在音频数据中识别“谁何时发（[5],[6],[7],[8]）以及设备端框架（[4],[9]）将其产

言”的任务，对于会议记录、速记和语音助手等应品化。在众多开源项目和专有产品的存在下，一致

用至关重要。近期几项挑战（[1],[2],[3]）中的顶级且全面的基准测试是理解每个系统的权衡和相对