分层特征对齐用于无注释手语翻译-计算机科学-大语言模型-手语翻译-视觉语言预训练.pdfVIP

分层特征对齐用于无注释手语翻译

SobhanAsasiMohamedIlyesRichardBowden

s.asasi@surrey.ac.ukLakhalr.bowden@surrey.ac.uk

UniversityofSurreyUniversityofSurrey

m.lakhal@surrey.ac.uk

Guildford,UnitedKingdomGuildford,UnitedKingdom

UniversityofSurrey

Guildford,UnitedKingdom

摘要Keywords

手语翻译（SLT）试图将手语视频转换为口语句子。然手语翻译，视觉语言预训练，大型语言模型

而，许多现有方法在端到端学习过程中难以处理视觉ACMReferenceFormat:

本和文本表示之间的差异。基于词汇的方法通过利用结SobhanAsasi,MohamedIlyesLakhal,andRichardBowden.2025.

译构化的语言信息来帮助弥合这一差距。而无词汇的方分层特征对齐用于无注释手语翻译.InProceedingsof(SLTAT

中法提供了更大的灵活性并消除了标注的负担，但它们’25).ACM,NewYork,NY,USA,7pages./XXXXXXX.

XXXXXXX

需要有效的对齐策略。大型语言模型（LLMs）的进步

1

v使得能够生成类似于文本的手语视频表示，从而实现

2无词汇SLT。在这项工作中，我们引入了一种新的层次1介绍

3

7预训练策略，该策略受到手语结构的启发，并结合了手语使用手势、身体动作和面部表情进行交流[21,22]。

6

0.伪词汇和对比视音频对齐。我们的方法分层提取帧、Signlanguagetranslation(SLT)旨在将这些视觉元素转

7片段和视频级别的特征，并将它们与伪词汇和口语句换为口语句子，从而实现与非手语使用者之间的交流。

0

5子进行对齐以提高翻译质量。实验表明，我们的方法然而，SLT在准确识别手语的组成部分以及弥合视觉

2提高了BLEU-4和ROUGE得分，同时保持了效率。和文本表示之间的差距方面面临挑战[8,29]。

:

v

iSLT方法通常分为两类：gloss-based和gloss-free。

x

rCCSConcepts基于词汇的方法依赖于中间表示，其中手势视频首先

a

被翻译成一系列词汇，即使用相应的口语单词来表示

•Computingmethodologies→Computervision.