如何评估自动语音识别：比较不同的性能和偏差度量方法-计算机科学-自动语音识别-公平性.pdf

如何评估自动语音识别：比较不同的性能和偏差度量方法

TanvinaPatel,WiebkeHutiri,AaronYiDing,OdetteScharenborg

DelftUniversityofTechnology,TheNetherlands

SonyAI,Switzerland

t.b.patel@tudelft.nl,wiebke.hutiri@,aaron.ding@tudelft.nl,o.e.scharenborg@tudelft.nl

Abstract和代表性不足的群体[10]等因素，在商用语音识

别系统中存在性能不均和偏见。这些发现共同强

越来越多的证据表明，自动语音识别（ASR）系统

调了研究自动语音识别（ASR）中的偏见的需求。

对不同的说话人和说话人群体存在偏见，例如由

ASR系统的性能差异可能源自不同的已知和未知

于性别、年龄或口音。关于ASR中偏见的研究到

来源：训练数据的偏差及其中的文化细微差别、人

目前为止主要集中在检测和量化偏见以及开发缓

类转录的一致性问题、所使用的神经网络架构类

解方法上。尽管有了这些进展，但仍有一个开放性

本型，以及已经提到的与说话人相关的特征（年龄、

问题是如何衡量系统的性能和偏见。在这项研究

译说话风格、口音、情绪和短期健康状况）[5,11]和

中，我们比较了来自文献中的不同性能和偏见度

中与说话人无关的因素（环境、录音技术及应用场

量方法，并提出了一些新的措施来评估最先进的

1景）[12]。量化并解决性能差异对于缓解语音识别

v端到端ASR系统对荷兰语的表现。我们的实验使中的偏见和促进公平至关重要。偏见测量（或公平

5用了几种偏见缓解策略来解决针对不同说话人群

8性标准）用于量化和测量偏见的指标是从统计基

8体的偏见问题。发现表明，平均错误率（在ASR

5础指标中计算得出的。在ASR中，主要的基础度

0.研究中的一项标准）单独并不足以衡量系统性能，量是词错误率(WER)、音素错误率(PER)和字符

7还需要补充其他度量方法。本文最后提出了一些

0建议，以更好地报告ASR系统的性能和偏见，从错误率(CER)，偶尔会进行一些修改，例如排除

5删除[13]，困惑度来评估语言模型[7]，以及置信

2而更准确地反映该系统对多样化说话人群体的表

:分数来估计输出的概率而不完全依赖于地面真实

v现以及整体的系统偏见。

i转录[11]。偏