基于上下文的情感识别的重要性调整-计算机科学-机器学习-情感识别-视觉语言模型.pdfVIP

基于上下文的情感识别的重要性调整

BinHanandJonathanGratch

ComputerScience,UniversityofSouthernCalifornia,LosAngeles,USA

Abstract—情感识别在动态社会环境中需要理解面部表情型之中。例如，最近的一项研究发现，在某些情况下，上

和情境线索之间复杂的相互作用。本文提出了一种基于贝叶斯下文信息可能占据主导地位胜过面部信息[19]，这表明

线索整合（BCI）和视觉语言模型（VLMs）的显著性调整框

需要权衡面部与情境背景的相对贡献。

架，用于根据面部线索的表现力动态地加权面部和情境信息。

我们使用囚徒困境场景中的人类注释和自动情感识别系统来评在这篇论文中，我们提出面部表情的视觉显著性是

估这种方法，这些场景旨在引发情绪反应。我们的研究结果表决定观察者在基于情境的情感判断中脸部与背景相对重

明，融入显著性调整可以提高情感识别性能，为未来的研究扩要性的关键因素。我们首先讨论先前的心理学研究，该

展此框架以适应更广泛的社会环境和多模态应用提供了有前景研究表明强烈的脸部表情会吸引注意力。接下来，我们

的方向。

探讨脸部和情境线索如何相互作用，在具有现实世界后

果的社会任务中塑造人类的情绪感知。

I.介绍

本我们在贝叶斯线索整合及其在自动表情识别中的应

译自动表情识别传统上将面部表情视为表达者情感状用方面做出了几项贡献。首先，我们发现证据表明，在面

态的标志。最近，越来越多的人认识到观察者的感知与自部运动显著时，观察者对表情的重视程度大于对环境线

中我报告的情感不同[6]（人们在经历负面情绪时可能看起索的重视程度。其次，我们展示了通过纳入表情显著性，

1来很开心[2],[22]），然而这些（误）感知对于解释人类社BCI的准确性得到提高。第三，我们展示了调整表情显

v

8会行为至关重要。被感知的情绪建立信任和合作[8],[41]，著性可以增强受BCI启发的自动识别系统的准确性。最

7塑造伴侣决策[13]，并帮助他人调节自己的情感[32]，无后，我们证明了即使是非BCI方法，如使用视觉-语言模

8

5论表达者的真实感受如何。自动识别被感知的情感可以型，也能通过对视觉显著性的调整来实现更高的准确性。

1.改进人类社会行为理论[21]和人机交互理论[14]。

7关于观察者如何解读面部表情的研究突出了背景的II.表达式显著性

0

5重要作用。仅从面部进行的解释与在其他模态[34]、背景

2若干研究发现，情绪化的面部能够吸引视觉注意力。

:面孔[30]、同时发生的动作[4]或最近事件[20]的背景下

v情绪化的面部“从场景中脱颖而出”[11]。强烈的表情，

i对表情的解读有显著差异。此类“基于上下文的情绪识

x特别是笑容[10]和皱眉[17]，吸引了注意力，并且比更

r别”的自动化方法包括标准机器学习[24],[26]和以心理

a中性的面部或其他视觉信息更快被识别。对强烈表情的

理论为基础的方法[40],[31],[20]。在本文中，我们关注

关注难以抑制，这意味着表情丰富的面孔不能像其他信

的