基于 ASR 的说话人角色分离和基于分离的 ASR 解码-计算机科学-机器学习-自动语音识别-说话人分割.pdfVIP

基于ASR的说话人角色分离和基于分离的ASR解码

ArindamGhosh,MarkFuhs,BongjunKim,AnuragChowdhury,MonikaWoszczyna

SolventumHealthInformationSystems,USA

{aghosh4,mark.fuhs,bkim11,achowdhury2,mwoszczyna}@

Abstract况下，例如总结，识别发言者角色（医生、病人、

律师、客户等）比知道确切的说话者身份更有价

从应用角度来看，说话者角色分割（RD），例如医

值。虽然外部说话人数据可以简化角色推断，但它

生与患者、主持人与嘉宾等，比传统的说话者分割

经常不可用。在这种情况下，“谁（角色）说了什

（SD）更有用，后者分配通用标签如说话者-1、说

么？”的联合ASR+RD变得至关重要。

话者-2等。在联合自动语音识别（ASR）+SD（谁

一种RD的方法是从ASR转录中直接推断角

本说了什么？）的背景下，最近的端到端模型采用一色[5,6]。王等人。[6]表明了使用大型语言模型

个辅助的SD转换器，与ASR转换器同步，以按

译（LLM）进行此任务的应用。然而，仅靠文本可能

词预测说话者。在这篇论文中，我们通过三个关键

中并不总是足够的，特别是在快速对话和简短交流

贡献将这一框架扩展到RD：(1)我们简化了训练

1的情况下。在文本上下文有限的场景中，如流式

v过程，使用强制对齐和交叉熵损失而不是RNNT

5损失，(2)我们展示了词预测和角色预测需要不同传输或分段处理，这一挑战变得更加严峻。因此，

6为了超越基于文本的方法改进RD，必须融入声学

7数量的预测器上下文，导致独立的任务特定预测

7信息。

1器，不同于现有的共享预测器模型，(3)我们提出

7.了一种利用RD后验活动影响ASR解码并减少小现有的结合声学和语言线索进行角色分割的

0词删除错误的方法。方法[7–11]分为两类：模块化系统和端到端模型。

5

2IndexTerms:自动语音识别，说话人分割，角模块化系统，例如[9]，使用面向角色的语言模型

:进行分类，并通过x-vector聚类进行改进。在[10]

v色分割，RNNT损失，束有哪些信誉好的足球投注网站，空白抑制

i中，将基于BERT的分类器与受角色约束的x-

x

r

avector聚类相结合。然而，这些系统存在误差传

1.介绍

播的问题，因此端到端模型更具吸引力。早期的

在多发言人对话中，如医生与患者会面、律师