基于时-频编码的虚拟键盘脑机接口系统设计.pdfVIP

摘要

脑机接口（brain-computerinterface,BCI）是大脑与外部设备之间不依赖于外周神经

和肌肉组织的直接通信通路。通过提取大脑活动的数据特征，将其转换为对外部设备的

控制信号，可以让运动障碍患者以及其它无法正常向外界表达意愿的人群与外界环境进

行交互，目前BCI已广泛应用与医疗康复、人机交互、智能娱乐等领域。

基于稳态视觉诱发电位（steady-statevisualevokedpotential,SSVEP）的BCI（SSVEP

型BCI）由于幅值能量强、信噪比高、频率相位稳定、无需校准或训练等优点，已成为

研究热点。其中，基于SSVEP范式的虚拟键盘在BCI领域中具有很高的研究和应用价

值。然而，SSVEP型BCI面临一些挑战：在SSVEP编码刺激中，高响应SSVEP的可

用频率资源数目有限；在SSVEP信号解码中，亟需无训练算法以达到“即插即用”要

求。针对上述问题，本项研究提出了一种新型SSVEP实验范式设计，可以基于少频率

资源实现多指令编码；同时，根据典型相关分析，提出了考虑相关系数差值的新型SSVEP

解码算法，有效提高了分类准确率。基于上述提出的创新方法，本研究构建了一款基于

时-频编码的虚拟键盘脑机接口系统，取得研究成果如下：

（1）在SSVEP编码调制方面，本研究创新性地提出虚拟键盘的分区块排布式进行

联合时频相位调制（blockdistributedjointtemporal-frequency-phasemodulation，B-JTFPM）

方法。该方法融合了时多空址、频相联合调制（jointfrequency-phasemodulation，JFPM）

以及空多分址的特点，实现了SSVEP型BCI的48键位虚拟键盘系统设计。B-JTFPM

方法保留了时多分址的少频率特性，仅使用8种频率刺激就能实现48种指令编码。同

时在编码过程中加入分区块排布方法，将空间信息也加入到刺激中，构成同一频率大范

围的SSVEP刺激呈现。本研究在实验过程中，与现有金标准的JFPM编码的SSVEP拼

写系统进行对比。离线实验结果显示，在使用相同的分类算法进行解码时，实验组基于

B-JTFPM的方法的SSVEP型BCI拼写系统的平均分类准确率为86.81%，而对照组基

于JFPM的系统平均分类准确率为74.51%，高出12.30％。

（2）在SSVEP信号解码方面，基于经典的SSVEP特征识别算法：典型相关分析

（canonicalcorrelationanalysis，CCA）和滤波器组典型相关分析（filter-bankCCA，

FBCCA），本研究创新性地提出了相关系数差值这一指标，用于判定解码识别结果的

鲁棒性。对获取的脑电数据进行分时段解码，由此获取到该信号的相关系数特征。离线

实验结果显示在B-JTFPM方法第二阶段的0.4-1.2s时段；JFPM方法的0.4-2.0s时段的

数据均有利于特征识别。因此在优化策略中，通过多段数据的信号特征融合进行识别。

离线实验结果显示，在优化后B-JTFPM的FBCCA方法分类准确率可增至87.85%；

JFPM增至75.49%。

（3）在系统性能方面，本研究设计了SSVEP型BCI的虚拟键盘拼写系统的在线实

验。实验过程通过网口实现数据通讯，搭建了一个在线数据传输、后台即时解码与界面

字符实时回显的虚拟键盘拼写系统。英文单词拼写任务实施过程中被试使用体验良好，

拼写流畅。拼写系统实现了91.36％的平均拼字准确率和12.20bits/min的ITR，实现了

高性能SSVEP型BCI拼写功能，同时达到“即插即用”的实用要求。

关键词：脑机接口，稳态视觉诱发电位，时-频编码，虚拟键盘

Abstract

Brain-computerinterface(BCI)isadirectcommunicationpathwaybetweenthebrainand

externaldevices,whichdoesnotrelyonperipheralnerveandmuscletissue.Byext