基于多模态生理信号的飞行员情绪识别系统研究.pdfVIP

摘要

摘要

民用航空逐渐成为一种大众化的交通出行方式，但飞行事故和事故征候却不

时发生。飞行员的异常情绪被视为严重的飞行安全隐患，面向飞行员的情绪识别成

为了研究热点。相比于表情、语音等非生理信号，生理信号具有不易伪装且实时性

高的特点，基于生理信号的情绪识别可靠性更高。尽管相关领域已有大量研究，但

目前仍缺乏一款适用于飞行员的多模态生理信号采集与情绪识别系统。基于上述

背景，本文做了以下研究工作：

（1）针对传统生理信号采集设备由于信号单一、体积庞大和线缆繁琐而不适用

于飞行场景这一问题，本文提出了可穿戴的解决方案，研发了称之为“情绪生理感

知发带”的多模态生理信号采集设备，并开发了与之配套的可视化软件。信号采集

设备的本底噪声小于3μVpp，共模抑制比大于80dB，符合脑电图仪检定规程JJG

954-2019中的指标要求，能同时采集2通道脑电（Electroencephalograph,EEG）和

3通道外周生理信号（PeripheralPhysiologicalSignals,PPS），具有一体化、小型化、

低功耗和高性能的优点，为飞行安全研究领域提供了有效的技术工具。

（2）针对当前飞行员情绪识别领域缺少飞行场景下诱发产生的多模态生理信

号开源数据集这一问题，本文首先使用飞行仿真软件设计了一套基于飞行场景的

情绪诱发系统，并验证了其情绪诱发的有效性，然后根据设计的实验范式，采集、

记录了12名被试者的2通道EEG和3通道PPS信号，构建了多模态生理信号数

据集DPFS，为后续基于多模态生理信号的飞行员情绪识别研究提供了数据支撑。

（3）本文基于多模态生理信号数据集DPFS开展了飞行员情绪识别研究，首先

通过特征工程和分类算法的选择，构建了一个基于多模态生理信号的情绪分类模

型，模型的效价和唤醒度二分类准确率分别为87.72%和87.90%，效价-唤醒度四分

类准确率为83.91%。该模型使用较少的生理信号通道获得了较高的准确率，证明

了情绪生理感知发带可用于飞行员情绪识别。此外，针对机器学习特征工程依赖领

域知识且无法充分挖掘抽象特征等问题，本文提出了一种轻量级的卷积神经网络

CNNL，分别使用3层和2层卷积处理EEG和PPS信号，充分提取并融合多模态

生理信号的频域和空间等抽象特征。CNNL的效价和唤醒度二分类准确率分别为

90.32%和88.23%，效价-唤醒度四分类准确率为85.31%，拥有更好的分类性能。

关键词：可穿戴，生理信号，情绪识别，卷积神经网络，系统开发

I

ABSTRACT

ABSTRACT

Civilaviationhasgraduallybecomeapopularmodeoftransportation,butflight

accidentsandaccidentsymptomsoccurfromtimetotime.Theabnormalemotionsof

pilotsareconsideredaseriousflightsafetyhazard,andemotionrecognitionforpilotshas

becomearesearchhotspot.Comparedtofacialexpressions,sounds,etc.,physiological

signalsarenoteasytodisguiseandhavehighreal-timeperformance,makingemotion

recognitionbasedonphysiologicalsignalsmorereliable.Despiteextensiveresearchin

relatedfields,thereisstillalackofamultimodalphysiologicals