在生成手语中表达情感的挑战与机遇.pdfVIP

在生成手语中表达情感的挑战与机遇

123

JohnC.McDonald,RosaleeWolfe,andFabrizioNunnari

1DePaulUniversity,Chicago,IL,USA

2InstituteforLanguageandSpeechProcessing,AthenaRC,Athens,Greece

3GermanResearchCenterforArtificialIntelligence(DFKI),Saarbrücken,Germany

本

译

中摘要要使这些虚拟手语形象支持完整范围的手语交流，

它们必须能够表现出手语中语言和非语言元素的

1手语中的非手动信号继续对SigningAvatars全部内容，包括通过手势者躯干和面部传达的所

v

7构成挑战。更具体地说，由于缺乏规范方法来指有非手动信号[12]。对于虚拟手语形象来说，情感

3

9定虚拟角色的情感状态，因此很难将其纳入其中。表达仍然是一个关键挑战，特别是在使用非手动

7本文探讨了将一种直观的两参数表示应用于Paula面部特征来展现语言过程的情况下。

0

8.签名化身的可能性，该表示有望以比以前的方法从语言学的角度来看，情绪传统上被解释为一

0更加连贯的方式促进情感面部表情的语言规格化。种超语言过程，并未包含在主要的语言描述或标注

5

2用户可以通过称为EASIER符号的文本表示来应中。最近的工作[21][20]中有一些例外情况。尽管

:

v用这些参数控制Paula的情感表达。这种表示可这类信号通常不作为意义的主要载体包含在有标

i

x以使虚拟角色使用两个数值参数表达更细腻的情记话语的语言描述中，但在合成的手语中它们是

r

a感状态。它还有潜力使驱动签名化身的语言注释至关重要的，因为它们增强了合成话语的意义和

中情感非手动信号的规定更加一致。自然性。仅展示手语的词汇和句法成分会使话语

丧失人类交流中的大量信息，并导致用户认为化

关键词身的手势过于机械化。书面文本也存在类似问题，

这就是为什么现在许多在线交流都使用诸如大写

签名化身，非手动信号，情感，手语动画。字母、表情符号和emoji等情感信号的原因。幸

运的是，在手语的情况下，我们处理的不是书面形

1介绍式而是视觉表现，因此我们的目标是在化身面部

动作中叠加情感信号。

通过与聋人社区的合作，我们正在开发虚拟先前的研究和反馈提供了有价值的观点，这

形象，目标是以自然且清晰的方式展现手语。如果些观点对生成情感手语很有帮助，但也揭示了实

1

现这一目标所面临的挑战。例如，面部姿势会根据一个封闭范围内指定。这些值控制面部交流的不

手势者的意图传达不同的含义。扬起的眉毛可能同方面，并且可以结合在一起表达广泛的情感。

表示提出了一个是非问题，但在不同的情境下或

在集体中，扬起的眉毛也可能表示惊讶[9]。此外，2情感表示和PAD模型

语法非手动信号，如词汇性嘴部动作[22]，可