MMS 播放器：一个用于手语角色参数化数据驱动动画的开源软件-计算机科学-合成手语动画-机器学习-开源软件.pdf

MMS播放器：一个用于手语角色参数化数据驱动动画的开源

软件

FabrizioNunnari,ShaileshMishra,PatrickGebhard

fabrizio.nunnari@dfki.de,mshailesh2018@,patrick.gebhard@dfki.de

GermanResearchCenterforArtificialIntelligence(DFKI)

本

译摘要器翻译挑战赛的结果[1,2]）。

中在本文/演示中，我们专注于SL合成（文本到动

本文描述了MMS-Player，这是一款开源软件，画）使用过程动画化身（3D虚拟角色）。

1

v能够从一种名为MMS（多模态手语流）的新手语表特别是，我们提出了两个主要贡献。首先（第

3示格式中合成手语动画。MMS通过添加关于手势3节），我们描述了MMS（多模态手势流）的当前

6

4并行执行、定时和曲折的信息来增强基于词汇的手版本：一种SL机器可读表示形式，它在手语序列概

6势表示。该实现由用于流行的Blender3D创作工具念的基础上增加了关于手势并行化、时间以及动作

1

7.的Python脚本组成，可以通过命令行或HTTPAPI抑扬顿挫的额外信息。其次（第4节），我们展示了

0调用。动画可以渲染为视频，也可以导出到其他流“MMS实现者”的完整工作软件架构，即一个能够以

5行三维动画交换格式中。该软件在https://github.MMS实例作为输入，并基于3D虚拟角色生成SL动

2

:com/DFKI-SignLanguage/MMS-Player下以GPL-3.0画的软件。该系统还已由一组本土聋哑人和翻译人员

v

i许可证免费提供。进行了初步评估（第5节）。

x

r

a

关键词MMS的定义源于表达机器可读格式的手语的需

求，这种格式可以作为文本到MMS（反之亦然）自

手语，合成，角色动画，屈折变化，MMS，多模

动翻译系统的对象。大多数现有的工作依赖于“词汇

态手语流。

序列”，即一系列意义与所观察到对应手语相近的词。

然而，仅靠词汇是不够的。SLs表现出复杂的现象，

1介绍如多个手势的同时执行、执行速度的调节、停顿以及

“屈折变化”，即根据表达信息的上下文对手势执行进

手语（SL）是全球约7000万人的母语沟通语言，行调整。例如，一个手势可以扩展或收缩来表示形容

分布在全球超过300种不同的手语[18]中。尽管在该词大的和小；手势必须在手语空间中重新定位；躯干

领域进行了20多年的研究，口语/书面语与手语之间需要旋转并倾斜以实现角色扮演。

的自动翻译仍处于初级阶段（例如，请参阅最近的机为了满足“参数化”手势的需求，一些系统依赖

1

图1:由于其曲折能力，MMS-Player可以从现有的标志中实现新的情境化标志。左侧：索引标志的引用形

式；独立旋转躯干、手臂和手以指示左边的东西；并将躯干朝左但指向右边。右侧：Nicht