脑电波文本对齐研究：通过大型语言模型和对比学习 探索开放词汇中文文本与脑电波的对齐关系一项利用大型语言模型和对比学习在 ChineseEEG 上进行开放词汇中文文本-脑电波对齐的探索性研究-计算机科学-大语言模型-中文认知.pdf

脑电波文本对齐研究：通过大型语言模型和对比学习

探索开放词汇中文文本与脑电波的对齐关系

一项利用大型语言模型和对比学习在ChineseEEG上

进行开放词汇中文文本-脑电波对齐的探索性研究

JackyTai-YuLu1,JungChiang1,2,Chi-ShengChen3,

1,411,6

AnnaNai-YunTung,HsiangWeiHu,YuanChiaoCheng

1DepartmentofArtificialIntelligenceinHealthcare,

本InternationalAcademiaofBiomedicalInnovationTechnology,Reno,USA

2NationalTaiwanUniversity

译3NeuroIndustryResearch,NeuroIndustry,Inc.

中4DepartmentofBiomedicalEngineering,

3UniversityofSouthernCalifornia

v5TaiwanArtificialIntelligenceAssociation

4

5b0090100@,Lloyd4127@,m50816m50816@,

8naiyun@,Hw.Hsiang.wei@,yuanchiao.cheng@

0

0

.

6

0Abstract

5

2

:我们提出了EEG2TEXT-CN，据我们所知，这代表了最早的针对中文的开放

v

i词汇量EEG到文本生成框架之一。该架构基于一个生物学基础的EEG编码

x器（NICE-EEG）和一个紧凑的预训练语言模型（MiniLM），通过掩码预训

r

a练和对比学习将多通道脑电信号与自然语言表示对齐。使用ChineseEEG数

据集的一个子集，其中每个句子包含大约十个中文字符，并且这些字符与以

256Hz记录的128通道EEG信号对齐，我们将EEG分割为每个字符的嵌

入，并在零样本设置下预测完整的句子。解码器通过教师强迫和填充掩码训

练来适应可变长度序列。通过对超过1,500个训练-验证句子和300个保留

测试样本进行评估显示了有希望的词汇对齐，最佳BLEU-1得分为6.38%。

虽然句法流畅性仍然是一个挑战，但我们的研究结果证明了从EEG中解码

非语音、跨模态语言的可行性。这项工作开启了多语言脑到文本研究的新方

向，并为未来中文认知语言接口奠定了基础。

1介绍

将大脑活动转化为自然语言已经成为脑机接口(