动手操作：从连续序列中分割单个符号-计算机科学-连续手语分割-机器学习.pdf

动手操作：从连续序列中分割单个符号

LowJianHe,HarryWalsh,OzgeMercanogluSincan,RichardBowden

CVSSP,UniversityofSurrey,Guildford,UnitedKingdom

{jianhe.low,harry.walsh,o.mercanoglusincan,r.bowden}@surrey.ac.uk

Abstract—本工作解决了连续手语分割的挑战，这是手语

翻译和数据标注中一个具有重大影响的关键任务。我们提出了

一种基于变换器的架构，该架构将手势的时间动态建模，并使

用开始-内部-外部（BIO）标签方案将帧分割问题视为序列标

注问题。我们的方法利用了HaMeR手部特征，并辅以3D角

度。大量实验表明，我们的模型在DGS语料库上实现了最先

进的结果，而我们的特征在BSLCorpus上的表现超过了先前

的基准。

Fig.1.特征表示的说明：图展示了手语视频的一个样本帧，以及与其

I.介绍对应的基于3D骨架的角度姿态表示和HaMeR生成的左手和右手网格

本手语是一种通过手势、面部表情和身体动作来传达可视化。

译意义的视觉语言[1]。作为聋人社区的主要交流方式，手

基于这些见解，我们提出了一种新的手语分段模型，

中语体现了深厚的文化和语言认同。

该模型整合了强大的语言和视觉线索。我们的方法利用

3手势语言翻译（SLT）系统的发展为弥合沟通障碍提

v最先进的HandMeshRecovery（HaMeR）模型[10]提取

供了一种有希望的方法，因为它们被设计用于将手势语

3精细的手部形状特征，并结合3D骨架角度[11]来捕捉身

9言翻译成文本并反之亦然。然而，手势语言的多通道性

5体与手的动态变化。我们在图1中提供了一个视频帧上

8质，涉及复杂的肢体动作、身体姿势和面部表情，提出了的这些特征示例。这些特征被整合到一个统一的多模态

0显著的挑战。这进一步因注释数据的稀缺性而加剧，特

.框架中，该框架利用基于变压器的架构建模时间依赖性，

4别是在帧级别上，注释手势语言视频是一个劳动密集型、

0从而能够精确识别手语序列中的停顿和转换。

5需要专业知识且成本高昂的过程[2]。这限制了大规模数总结而言，我们的贡献如下：(i)我们首次利用

2据集的可用性，并极大地阻碍了SLT系统的泛化能力。

:HaMeR特征进行手语分割，并展示了它们与身体姿态

v手势分割，即在连续视频中识别手势的时间边界，对

i特征结合时的有效性。（二）我们提供了广泛的实验来分

x于应对这些挑战至关重要。一个强大的分割模型可以自

r析设计选择对性能的影响。（三）在DGS语料库上，我们

a1

动化大部分词汇注释过程，让语言学家能够修改预测

实现了最先进的分割结果。（四）通过在BSLCorpus上将

的片段而不是手动标注它们，从而大