SASST: 利用语法感知切分和大语言模型进行同步语音翻译.pdfVIP

SASST:利用语法感知切分和大语言模型进行同步语音翻译

11211,3

ZeyuYang,LaiWei,RomanKoshkin,XiChen,SatoshiNakamura

1TheChineseUniversityofHongKong,Shenzhen,China

2OkinawaInstituteofScienceandTechnology,Japan

3NaraInstituteofScienceandTechnology,Japan

Correspondence:zeyuyang1@,snakamura@

Abstract模能力被用于低延迟翻译。然而，现有方法通常保留

外部策略模块或手工分段策略(ZhangandFeng2023)，

这项工作提出了一种基于语法的分块策略，通过解析依

赖关系（例如名词短语边界、动词-宾语结构）和标点特将“何时翻译”与“翻译什么”分离，从而限制了解释

征将输入流分割成语义完整的单元。该方法确保了分块性和联合优化。

本的一致性并最小化了语义碎片化。在此机制的基础上，在这项工作中，我们提出了一种以语言学为动机、

我们提出了SASST（语法感知同步语音翻译），这是一数据驱动的框架，该框架将将读/写决策内部化到一个

译种端到端框架，集成了冻结的Whisper编码器和仅解码指令调优的LLM中统一在单个模型中的分段和翻译。

中器的LLM。统一架构动态输出翻译标记或等待符号，以我们在推理过程中不应用预定义的分段规则，而是根据

1联合优化翻译时间和内容，并通过目标侧重新排序解决句法和语义边界生成块对齐监督，并使用它在一个两阶

v了词序差异问题。在CoVoST2多语言语料库（EnDe、段训练策略中来教导模型预测显式的等待标记以及翻

1Zh、Ja）上的实验表明，在不同语言中显著提高了翻译

8质量，并验证了语法结构在LLM驱动的同步语音翻译系译标记。这使得大语言模型能够自主学习何时及翻译什

7么内容，在不受外部对齐工具或政策头的影响下，由语

7统中的有效性。言结构指导。受到人类译员的启发，他们在句法或语义

0

.边界处自然停顿，我们的方法在流式约束条件下产生了

8介绍

0更加连贯且可解释的翻译。

5同时语音翻译（SimulST）旨在在听取源语言语音为了进一步提高具有不同词序的语言对的输出流

2的同时实时生成目标语言的翻译。与离线翻译不同，在畅性，我们引入了一种基于片段感知的重排序机制，将

:

v离线翻译中，整个输入内容在翻译开始前就已全部可翻译后的片段重新排列成自然的目标语言顺序。我们

i

x用，SimulST必须在流式传输约束下操作，并动态做出的框架是模型不可知的，并且可以使用不同的仅解码

r

a决策，平衡三个往往相互冲突的目标：翻译质量、延迟器LLM基础架构来实现。在这项工作中，我们评估了

和输出连贯性。两个代表性基础架构，LLaMA3-8B(MetaAI2024)和

传统的