一种在大型语言模型（LLM）驱动的应用程序环境中衡量自动语音识别（ASR）模型性能的方法-计算机科学-机器学习-自动语音识别-人机交互.pdf

一种在大型语言模型（LLM）驱动的应用程序环境中衡量自动语音识别

（ASR）模型性能的方法

SujithPulikodan,SahapthanK,PrasantaKumarGhosh,VisruthSanka,NiharDesai

AIRoboticsTechnologyPark(ARTPARK),I-Hub@IISc,India

DepartmentofMathematics,IndianInstituteofScience,India

DepartmentofElectricalEngineering,IndianInstituteofScience,India

sujith@artpark.in,sahapthank@iisc.ac.in,prasantg@iisc.ac.in,visruth@artpark.in,nihar@artpark.in

Abstract上下文以及评估下游任务性能不足方面[3]。为了

解决这些问题，已经提出了各种替代指标。语义词

自动语音识别（ASR）在人机交互中扮演着关键角

错误率（SWER）[4]、信息丢失词数（WIL）和信息

色，并且作为广泛应用程序的接口。传统上，使用

保留词数（WIP）[5]通过结合上下文和信息性词

词错误率（WER）来评估ASR性能，该指标量化

的保留提供了更精细的评估。此外，基于嵌入的度

本了生成转录中的插入、删除和替换的数量。然而，

量标准如BERTScore[6]和语义距离（SemDist）[3]

译随着大型强大的大语言模型（LLMs）越来越多地利用深度上下文表示来更有效地评估ASR输出。

中被用作各种应用的核心处理组件，不同类型ASR近期在人工智能和硬件技术方面的进展极大

错误在下游任务中的重要性需要进一步探索。在

1

v这项工作中，我们分析了LLMs纠正ASRs引入的地加速了大型语言模型（LLMs）的发展。经过大

6错误的能力，并提出了一种新的度量标准来评估量数据训练，LLMs现已成为许多语音应用的基

5

4为LLM驱动应用程序服务的ASR性能。础，使高级语言理解成为可能。它们强大的语言

6IndexTerms:语音识别，人机交互，大型语言理解能力使其在各种应用程序中[7]非常有效。将

1

.LLMs与ASR系统结合可以开发出更复杂和有效

7模型

0的基于语音的应用程序。

5

21.介绍在这项工作中，我们研究了LLM（基于大型

:

v语言模型）应用背景下的ASR性能评估。我们首

i

x自动语音识别（ASR）已成为人机交互的基先分析如何通过简单的提示利用LLMs的语言理

r

a石，使与机器进行更加自然和无缝的通信成为可解能力有效减轻ASR错误。为了量化这一