一语定级万物-计算机科学-自动语音评估-计算机辅助语言学习.pdfVIP

一语定级万物

NhanPhan,AnushaPorwal,YaroslavGetman,EkaterinaVoskoboinik,TamásGrósz,Mikko

Kurimo

DepartmentofInformationandCommunicationsEngineering,AaltoUniversity,Finland

{firstname.lastname}@aalto.fi

Abstract

我们提出了一种高效的端到端方法，用于整体自动

口语评估（ASA）的多部分第二语言测试，该方法

是为2025年SpeakImprove挑战赛开发的。我

们系统的最大创新在于能够使用单一的Whisper-

本small编码器处理所有四个口语反应，通过轻量级

译聚合器结合所有信息，并预测最终分数。这种架构

中消除了转录和每部分模型的需求，减少了推理时

间，使ASA在大规模计算机辅助语言学习系统中

1

v变得实用。我们的系统实现了0.384的均方根误差

8（RMSE），优于基于文本的基础线（0.44），同时最图1:我们的模型架构概述。

1

9多使用了168M参数（约Whisper-small的70%）。

7

1此外，我们提出了一种数据采样策略，允许模型仅

.早期的ASA系统通过手动设计的声学或文本

7在语料库中的44.8%发言者上进行训练，并仍达到

00.383的RMSE，展示了对不平衡类别改进的表现特征预测整体熟练度[6,7]。由于这些特征是手工

5制作的，它们的实用性很大程度上取决于开发人

2和强大的数据效率。

:员选择包含什么内容，并且可能会忽略数据驱动

vIndexTerms:自动语音评估，计算机辅助语言

i方法可能捕捉到的线索。因此，最近的研究探索了

x学习，二语水平，Whisper

r从音频信号中自动提取特征的使用，使ASA系统

a

能够作为端到端评分器运行，仅将学习者的语音

1.介绍

作为输入[8–12]。虽然这些方法可以超越基于手工

口语是交际能力的核心维度，因此对于任何设计特征的模型，但它们也带来了与计算复杂性

语言资格认证来说都必须对其进行评估以保持其相关的新挑战。大多数端到端模型被设计为预测

有效性[1]。然而，对口头反应的人工评分既耗时单个问题或任务的整体分数[8–10]；对于多部分测

又昂贵。此外，由于疲劳[2]、培训不足[3]或对非试，通常需要多个模型或模型组合[11,12]。

母语口语口音的有限接触[4]，评分者的一致性可多个模型计算多部分口语测试的整体分数的

能会受到损害。自动口语评估（ASA）可以通过提需求限制了现有ASA系统的实用性，体现在速度

供可扩展且客观的分数来缓解这些缺点，同时大和计算成本上。虽然每个模型的推理时间可能相

幅降低成本。在计算机辅助语言学习（CALL）应似，但顺序加载它们会影响延迟，而并行运行则会