优化加泰罗尼亚语-西班牙语代码切换的 ASR：方法论比较分析-计算机科学-代码切换-语音增强-语音识别.pdfVIP

优化加泰罗尼亚语-西班牙语代码切换的ASR：方法论比较分析

CarlosMena,PolSerra,JacoboRomero,AbirMessaoudi,JoseGiraldo,Carme

Armentano-Oller,RodolfoZevallos,IvanMeza,JavierHernando

LangTechLab,BarcelonaSupercomputingCenter,Spain;IIMAS,UniversidadNacional

AutónomadeMéxico,Mexico;UniversitatPolitecnicadeCatalunya,Spain

carlos.hernandez@bsc.es,ivanvladimir@turing.iimas.unam.mx,javier.hernando@

Abstract•句间关系：句子之间的切换通常发生在从句边

界处，每个句子在其各自的语言中保持语法上

语言转换（CS），即两种或多种语言的交替使用，

的独立性。（例如，“Mañanatengounexamen

由于训练数据稀缺和语言相似性等原因，对自动

muydifícil.我希望我表现得很好.”）

语音识别（ASR）构成了挑战。缺乏专门针对CS

•句内：在一句话内进行切换，混用不同语言

的数据集限制了ASR的表现，因为大多数模型依

的单词或短语同时保持语法连贯。（例如，

赖于单语种或多语混合语料库，这些并不能反映

本“Ayerfuimosal商场ycompramosmucharopa

现实世界中的CS模式。这一问题在多语言社会中

译出售。”）

尤为关键，在这种环境中CS会在非正式和正式场

中•标签切换：在句子中插入了来自另一种语言的

合中出现。一个关键的例子是加泰罗尼亚语-西班

1语用标记、填充词或标签短语，而不影响其句法

v牙语的CS，广泛应用于媒体和议会演讲中。在这

5项工作中，我们通过探索三种策略来提高加泰罗结构。（例如，“Esoesincreíble,你知道?”）

7

8尼亚语-西班牙语CS的ASR：（1）生成合成CS数在本文中，我们探讨了在加泰罗尼亚语和西

3

1据，（2）拼接单语言音频，（3）利用带有语言标记班牙语之间的代码切换环境中增强自动语音识别

.

7的真实CS数据。我们从加泰罗尼亚语音语料库中（ASR）的不同方法，在使用加泰罗尼亚语的地区

0提取CS数据并对OpenAI的Whisper模型进行微日常对话中经常可以发现这种情况。这项任务由于

5

2