分析和微调 Whisper 模型以实现驾驶舱多语言飞行员语音转写-计算机科学-语音识别.pdf

分析和微调Whisper模型以实现驾驶舱多语言飞行员语音转写

KartheekKumarReddyNareddySarahTernus

InstituteofDataScienceInstituteofFlightGuidance

GermanAerospaceCenterGermanAerospaceCenter

kartheek.nareddy@dlr.desarah.ternus@dlr.de

JuliaNiebling

InstituteofDataScience

GermanAerospaceCenter

本Julia.Niebling@dlr.de

译

中Abstract成为一个具有挑战性的问题[6]。ASR已在自动呼叫处

1

v理[10]和个性化AI助手[15]等领域找到应用。传统的

0变换器编码-解码架构的发展已经在机器翻译、自动语ASR系统依赖于一系列组件的流水线，包括声学特征

9音识别（ASR）和基于指令的聊天机器人等领域取得了提取、声学和语言建模以及通过贝叶斯决策规则进行

9

1显著突破。预训练模型在大量通用数据上经过几个时解码[4]。随着深度学习的出现，声学模型和语言模型

2.期的训练（大多数情况下少于五个时期），从而具备了都发生了革命性的变化[5]，最终导致了端到端模型的

6强大的泛化能力。然而，当这些模型应用于利基领域发展[9]。

0

5如驾驶舱飞行员对话转录时，其性能会受到影响，因公开可用的数据集如LibriSpeech[16]、Common

2

:为这类应用涉及大量的特定词汇和多语言对话。本文Voice[2]和SpeechStew[7]为训练和测试新出现的

v

i研究并改进了Whisper模型对驾驶舱对话的转录准确ASR模型做出了贡献。然而，神经网络规模的增长

x

r性。我们收集了大约85分钟的驾驶舱模拟录音和130速度超过了这些标注数据集的大小，常常导致过拟合

a

分钟的与飞行员的访谈录音，并进行了手动标注。说话和泛化能力差[12]。这一挑战激发了大规模无标签或

者是中年男性，使用德语和英语。为了提高转录准确弱标签数据集的创建，如BigSSL（100万小时）[22]、

性，我们提出了多种规范化方案来优化文本并改进词GigaSpeech[8]和People’sSpeech[11]。在当代的ASR

错误率（WER）。然后我们采用微调方法来提升ASR模型中，OpenAI的Whisper因其在680,000小时多语

性能，利用低秩适应（LoRA）进行高效的微调。因此，言数据上的大规模弱监督训练而脱颖而出，结合了监

WER从68.49%（未经规范化的预训练WhisperLarge督和无监督技术以实现跨不同领域和语言的广泛泛化

模型）降低到了26.26%（使用所提出的规范化方案的能力[20]。

微调WhisperLarge模型）。其他基于transformer的模型（例如Wav2Vec[3]，

SpeechStew[7]，DeepSpeech[1]）在一般语音数据上的