FedMultiEmo：通过多模态联邦学习实现实时情绪识别-计算机科学-联邦学习-情绪识别-多模态融合-驾驶员辅助系统.pdfVIP

FedMultiEmo：通过多模态联邦学习实现实时情绪

识别

121,311

BaranCanGül,SurakshaNadig,StefanosTziampazis,NasserJazdi,andMichaelWeyrich

{baran-can.guel,nasser.jazdi,michael.weyrich}@ias.uni-stuttgart.de

2ElectricalEngineering,UniversityofStuttgart,Germany

st184494@stud.uni-stuttgart.de

3GraduateSchoolofExcellenceadvancedManufacturingEngineering,UniversityofStuttgart,Germany

stefanos.tziampazis@gsame.uni-stuttgart.de

Correspondingauthor.E-mailaddress:baran-can.guel@ias.uni-stuttgart.de

摘要—车内情绪识别是自适应驾驶员辅助系统的基础，最终尽管有这些令人鼓舞的应用，实时情绪识别在车辆内

保障了乘员的安全。然而，实际部署受到了以下因素的阻碍：(i)模部等动态、不受控环境中引发了一些实际问题。主要障碍

本态脆弱性—光照不足和遮挡会降低基于视觉的方法的效果；(ii)

包括：(1)环境变化，如光照变化、头部姿势和遮挡（例如

译生理变异—心率和皮肤电导模式因人而异；(iii)隐私风险—集太阳镜），这些都使视觉情感检测系统复杂化[4];(2)生理

中式训练需要传输敏感数据。为了解决这些问题，我们提出了联

中邦多情感，一个隐私保护框架，在决策层融合了两种互补的模态：异质性，个体间心率、电皮活动（EDA）和其他情绪反应

1由卷积神经网络从面部图像中提取的视觉特征和通过随机森林分的差异未能被单一模式系统充分捕捉；(3)隐私问题，集中

v类的心率、电皮活动以及皮肤温度等生理线索。FedMultiEmo式模型需要持续传输面部图像和生理信号等敏感数据，这

0

7建立在三个关键要素之上：(1)一个多模态联邦学习管道，采用可能威胁用户隐私[5]。此外，传统的集中式方法在处理来

4多数投票融合；(2)在RaspberryPi客户端和Flower服务

5器上的端到端边缘至云端原型；(3)一种个性化的联邦平均方案，自各种用户的大量实时数据时面临着扩展性和计算效率的

1.根据本地数据量加权客户端更新。在FER2013数据集和自定问题。

7义的生理数据集上进行评估时，联邦卷积神经网络达到了77%为应对这些挑战，我们提出联邦多情感分析，一个

0

5的准确率，随机森林达到74%，而它们的融合则达到了87%，与用于多模态情感识别的联邦学习（FL）框架，该框架能够

2集中式基线相匹配，同时保持所有原始数据处于本地。所开发的

:保护用户隐私并解决实时环境中的动态变化问题。作为去

v系统在18轮迭代中收敛，每轮平均耗时为120秒，每个客户端

i内存占用低于200MB。这些结果表明，FedMultiEmo为汽车中心化学习的一种通用范式，联邦学习允许模型训练直接

x

r环境中的实时、隐私保护情绪识别提供了一种实用的方法。在用户设备上进行。这确保了诸如生理信号或面部图像等

a

IndexTerms—联邦学习，情感识别，多模态融合，汽车，敏感数据保留在本地，从而