基于原型学习的多模态脑机接口中的不确定性感知跨模态知识蒸馏-计算机科学-.pdfVIP

基于原型学习的多模态脑机接口中的不确定性感知跨模态知识

蒸馏

Hyo-JeongJang,Hye-BinShin,andSeong-WhanLee

Abstract—脑电图（EEG）是脑机接口（BCIs）中认知为了补充单一模态的基于EEG的系统，多模态

状态监测的基本模式。然而，它极易受到内在信号错误和人为BCI作为一种通过整合多样信号来提高解码准确性的

标记错误的影响，这导致标签噪声并最终降低模型性能。为了

有前景的方法而出现[10]。最近的研究提出了算法策

增强EEG学习，多模态知识蒸馏（KD）已被探索用于将具

有丰富表示的视觉模型的知识转移到基于EEG的模型上。不略，以结合额外的模态来增强EEG信号解释[11]。已

过，KD面临两个关键挑战：模态差距和软标签错位。前者源经探索了多种利用这些互补信号的方法，包括知识蒸

自EEG与视觉特征空间异质性的差异，而后者则源于标签不馏（KD）、多模态特征融合、对比学习、对抗学习和

本一致导致的真实标签与蒸馏目标之间的分歧。本文解决了由模

译糊特征和弱定义标签引起的语义不确定性问题。我们提出了一共训练[12]–[14]。这类多模态学习技术旨在通过整合

种新的跨模态知识蒸馏框架，以减轻模态和标签不一致性的问捕捉相同底层用户状态或意图的不同模态来提高鲁棒

中题。它通过基于原型的相似性模块对齐特征语义，并引入任务性和泛化能力。其中，知识蒸馏[15],[16]作为一种将

1特定的蒸馏头来解决监督中的标签诱导不一致性。实验结果表结构化的知识从高质量的教师模态转移到低质量的学

v明，我们的方法提高了基于EEG的情感回归和分类性能，在

2一个公开的多模态数据集上优于单模态和多模态基线模型。这生模态的强大技术而出现[17]。这种转移使学生模型

9

0些发现突显了我们框架在BCI应用中的潜力。能够克服其输入模态中的缺陷并提高性能。

3IndexTerms—脑机接口，多模态情感识别，脑电图，知尽管KD显示了潜力，但在多模态学习中它面临

1

7.识蒸馏着两个关键挑战：模态差距和软标签不对齐。模态差

0距[18]产生于不同模态表示的异质性。具体来说，虽

5I.介绍

2然传统的知识蒸馏方法在单模态设置下显示出了有效

:

v脑电图（EEG）是脑机接口（BCIs）中广泛使用性，但它们通常无法跨模态推广。当有噪声标签引入

i

x的一种神经监测方式[1],[2]。由于EEG能实时反映大不确定性时，软标签不对齐[19]就会发生，导致真实

r

a脑的电活动，它成为用户认知和情绪状态最直接的生标签与教师模型提供的蒸馏目标之间的不一致。从两

理指标之一[3],[4]。然而，EEG信号本身存在噪声和者学习时，学生可能会收到相互矛盾的信号，并且要

不确定性，这归因于传感器伪影、受试者差异、实验么降低权重，要么忽略教师的预测[20]。

限制以及缺乏明确界定的真实值等因素[5]–[7]。这些在本研究中，我们提出了一种跨模态知识蒸馏框

因素共同导致了对EEG解释的语义模糊性，在情绪识架，该框架利用视觉模态通过语义信息引导EEG特

别中尤为成问题，由于标签噪声普遍存在[8],[9]。征学习的表示对齐。我们的框架包含两个关键组件。

首先，我们采用基于原型的相似性模块，通过将EEG

*Thisresearchwassupp