多域特征融合的轻量化运动想象脑电信号解码神经网络

doi:10.11772/j.issn.1001-9081.2025010019

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (1): 289-296.DOI: 10.11772/j.issn.1001-9081.2025010019

多域特征融合的轻量化运动想象脑电信号解码神经网络

曹柠, 温昕, 郝雁嵘, 曹锐()

太原理工大学软件学院，山西晋中 030600

收稿日期:2025-01-07 修回日期:2025-04-17 接受日期:2025-04-18 发布日期:2026-01-10 出版日期:2026-01-10
通讯作者: 曹锐
作者简介:曹柠（2000—），女，山西临汾人，硕士研究生，主要研究方向：脑科学、深度学习
温昕（1989—），男，山西大同人，讲师，博士， CCF会员，主要研究方向：脑科学、深度学习
郝雁嵘（1992—），女，山西吕梁人，讲师，博士， CCF会员，主要研究方向：脑科学、情感计算
基金资助:
国家自然科学基金资助项目(62206196);山西省自然科学基金资助项目(202303021221001)

Lightweight motor imagery electroencephalogram decoding neural network with multi-domain feature fusion

Ning CAO, Xin WEN, Yanrong HAO, Rui CAO()

School of Software，Taiyuan University of Technology，Jinzhong Shanxi 030600，China

Received:2025-01-07 Revised:2025-04-17 Accepted:2025-04-18 Online:2026-01-10 Published:2026-01-10
Contact: Rui CAO
About author:CAO Ning， born in 2000， M. S. candidate. Her research interests include brain science， deep learning.
WEN Xin， born in 1989， Ph. D.， lecturer. His research interests include brain science， deep learning.
HAO Yanrong， born in 1992， Ph. D.， lecturer. Her research interests include brain science， affective computing.
Supported by:
National Natural Science Foundation of China(62206196);Natural Science Foundation of Shanxi Province(202303021221001)

摘要/Abstract

摘要：

针对解码运动想象脑电信号（MI-EEG）时大规模网络解码速度慢，以及特征信息未能充分利用等问题，提出一个多域特征融合的轻量化MI-EEG解码神经网络。该网络通过轻量化模块提取多域特征，包括利用SincNet提取频域特征以及利用时间卷积网络（TCN）提取时域特征；在时频域特征提取之后引入挤压激励（SE）注意力对特征图进行自适应校准，以突出关注重要特征并抑制冗余信息。最后，利用可分离卷积实现时频特征的有效融合，解决单域特征信息不足的问题。此外，采用交叉熵和中心损失函数联合约束网络的训练过程，以优化类内和类间的分类性能。实验结果表明，该网络在BCI 2a、SMR-BCI和OpenBMI这3个运动想象（MI）公开数据集上的参数量分别为6 870、5 690和6 870，平均准确率分别达到74.78%、71.93%和65.40%，平均Kappa值分别达到0.70、0.66和0.59。与深层卷积网络（DeepConvNet）、轻量级脑电信号卷积神经网络（EEGNet）和基于时间卷积的脑电信号识别网络（EEG-TCNet）相比：在BCI 2a数据集上，所提网络的平均准确率分别提升了11.06、8.85和6.36个百分点；在SMR-BCI数据集上，所提网络的平均准确率分别提升了10.53、4.17和3.57个百分点；在OpenBMI数据集上，所提网络的平均准确率分别提升了5.09、4.99和2.33个百分点。可见，所提网络在保证轻量化的同时兼顾了解码性能。

关键词: 运动想象, 脑电信号, 轻量化, 多域特征融合, 挤压激励注意力

Abstract:

To address the issues of slow decoding speed in large-scale networks and insufficient utilization of feature information in decoding Motor Imagery ElectroEncephaloGram （MI-EEG）， a lightweight MI-EEG decoding neural network with multi-domain feature fusion was proposed. In the proposed network， lightweight modules were introduced to extract multi-domain features， including the use of SincNet for frequency-domain feature extraction and the use of Temporal Convolutional Network （TCN） for time-domain feature extraction. Additionally， after extracting time-frequency domain features， the Squeeze-and-Excitation （SE） attention was incorporated to calibrate feature maps adaptively， thereby emphasizing important features and suppressing redundant information. Finally， separable convolution was employed to fuse time-frequency features effectively， thereby addressing the limitation of single-domain feature information. Furthermore， a joint loss function combining cross-entropy and center loss was adopted to constrain network training， thereby optimizing both intra-class and inter-class classification performance. Experimental results showed that on the Motor Imagery （MI） public datasets BCI 2a， SMR-BCI， and OpenBMI， the proposed network had the parameter counts of 6 870， 5 690， and 6 870， respectively， the average accuracies of 74.78%， 71.93%， and 65.40%， respectively， and the average Kappa values of 0.70， 0.66， and 0.59， respectively； Compared to Deep Convolutional Network （DeepConvNet）， lightweight EEG convolutional neural Network （EEGNet）， and Temporal Convolutional Network-based EEG Recognition （EEG-TCNet）， the proposed network achieved average accuracy improvements of 11.06， 8.85， and 6.36 percentage points on the BCI 2a dataset； 10.53， 4.17， and 3.57 percentage points on the SMR-BCI dataset； and 5.09， 4.99， and 2.33 percentage points on the OpenBMI dataset， respectively. The results demonstrate that the proposed network ensures lightweight design while maintaining robust decoding performance.

Key words: Motor Imagery (MI), ElectroEncephaloGram (EEG), lightweighting, multi-domain feature fusion, Squeeze-and-Excitation (SE) attention

中图分类号:

TP242

曹柠, 温昕, 郝雁嵘, 曹锐. 多域特征融合的轻量化运动想象脑电信号解码神经网络[J]. 计算机应用, 2026, 46(1): 289-296.

Ning CAO, Xin WEN, Yanrong HAO, Rui CAO. Lightweight motor imagery electroencephalogram decoding neural network with multi-domain feature fusion[J]. Journal of Computer Applications, 2026, 46(1): 289-296.

图/表 18

图1 多域特征融合的轻量化运动想象脑电信号解码网络

Fig. 1 Lightweight motor imagery EEG decoding network with multi-domain feature fusion

表1 网络各模块输出信息

Tab. 1 Output information of the network modules

模块	输出大小	激活函数
频域特征提取	（20， 187， 15）	ELU
时域特征提取	（20， 187， 15）	ELU
SE注意力	（20， 31， 15）	ELU
时频特征融合	（20， 7， 6）	ELU

图2 TCN残差块的结构

Fig. 2 Structure of TCN residual block

表2 TCN超参数设置

Tab. 2 TCN hyperparameter setting

超参数	设置
残差块（L）	2
卷积核尺寸（K_s）	5
滤波器器	12
Dropout	0.3

图3 SE注意力模块的结构

Fig. 3 Structure of SE attention module

图4 大脑电极分布

Fig. 4 Brain electrode distribution

表3 3个数据集信息

Tab. 3 Information on three datasets

数据集	通道数	通道位置	采样频率/Hz	下采样/Hz
BCI 2a^［13］	20	FC₃， FC₁， FC_z， FC₂， FC₄，C₅，C₃，C₁， C_z，C₂，C₄，C₆， CP₃， CP₁， CP_z， CP₂， CP₄，P₁， P_z，P₂	250	100
SMR-BCI^［14］	15	FCC₃， FCC_z， FCC₄，C_5h，C₃，C_3h，C_1h， C_z，C_2h，C_4h，C₄，C_6h， CCP₃， CCP_z， CCP₄	512	100
OpenBMI^［15］	20	FC₅， FC₃， FC₁， FC₂， FC₄， FC₆，C₅，C₃，C₁， C_z，C₂，C₄，C₆， CP₅， CP₃， CP₁， CP_z， CP₂， CP₄， CP₆	1 000	100

表4 不同网络在3个数据集上的参数量对比

Tab. 4 Comparison of parameter quantities of different networks on three datasets

网络	BCI 2a	SMR-BCI	OpenBMI
DeepConvNet^［5］	152 693	150 302	151 027
EEGNet^［6］	5 162	5 082	5 162
EEG-TCNet^［12］	6 366	6 286	6 366
TCNet-Fusion^［16］	10 487	10 238	10 478
EEG Conformer^［3］	458 226	450 226	458 226
MDLNN	6 870	5 690	6 870

图5 不同网络在BCI 2a数据集上的分类结果对比

Fig. 5 Comparison of classification results of different networks on BCI 2a dataset

图6 不同网络在SMR-BCI数据集上的分类结果对比

Fig. 6 Comparison of classification results of different networks on SMR-BCI dataset

图7 不同网络在OpenBMI数据集上的分类结果对比

Fig. 7 Comparison of classification results of different networks on OpenBMI dataset

表5 不同网络在3个数据集上的K值对比

Tab. 5 Comparison of K value of different networks on three datasets

网络	BCI 2a	SMR-BCI	OpenBMI
DeepConvNet^［5］	0.57	0.55	0.53
EEGNet^［6］	0.60	0.62	0.53
EEG-TCNet^［12］	0.63	0.63	0.56
TCNet-Fusion^［16］	0.67	0.64	0.62
EEG Conformer^［3］	0.65	0.65	0.60
MDLNN	0.70	0.66	0.59

表6 不同消融实验设置在BCI 2a数据集上的分类结果

Tab. 6 Classification results of different ablation experimental settings on BCI 2a dataset

频域特征提取	时域特征提取	SE 注意力	混合损失	分类准确率/%
	√	√	√	68.95
√		√	√	67.27
√	√		√	71.73
√	√	√		61.16
√	√	√	√	74.78

图8 不同消融实验设置在BCI 2a数据集上各被试的分类准确率

Fig. 8 Subject classification accuracies on BCI 2a dataset for different ablation experimental settings

表7 TCN超参数性能对比

Tab. 7 TCN hyperparameter performance comparison

残差块数	卷积核大小	分类准确率/%
1	3	60.79
1	5	60.77
2	3	70.94
2	5	74.78
3	3	70.13
3	5	71.62

图9 不同网络在3个数据集上的T-SNE可视化结果

Fig. 9 T-SNE visualization results of different networks on three datasets

表8 不同注意力在3个数据集上的分类准确率对比 (%)

Tab. 8 Comparison of classification accuracy of different attentions on three datasets

注意力	BCI 2a	SMR-BCI	OpenBMI
NoAttention	71.73	70.20	65.07
DANet	73.35	70.06	65.17
CBAM	73.02	70.61	65.06
SE	74.78	71.93	65.40

图10 3个数据集上有无注意力的T-SNE可视化结果

Fig. 10 T-SNE visualization results with and without attention on three datasets

参考文献 17

[1]	LI H， CHEN H， JIA Z， et al. A parallel multi-scale time-frequency block convolutional neural network based on channel attention module for motor imagery classification ［J］. Biomedical Signal Processing and Control， 2023， 79（Pt 1）： No.104066.
[2]	DONG Y， WEN X， GAO F， et al. Subject-independent EEG classification of motor imagery based on dual-branch feature fusion ［J］. Brain Sciences， 2023， 13（7）： No.1109.
[3]	SONG Y， ZHENG Q， LIU B， et al. EEG Conformer： convolutional Transformer for EEG decoding and visualization ［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2023， 31： 710-719.
[4]	TAO W， WANG Z， WONG C M， et al. ADFCNN： attention-based dual-scale fusion convolutional neural network for motor imagery brain-computer interface ［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2024， 32： 154-165.
[5]	SCHIRRMEISTER R T， SPRINGENBERG J T， FIEDERER L D J， et al. Deep learning with convolutional neural networks for EEG decoding and visualization ［J］. Human Brain Mapping， 2017， 38（11）： 5391-5420.
[6]	LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG-based brain-computer interfaces ［J］. Journal of Neural Engineering， 2018， 15（5）： No.056013.
[7]	LEE H K， MYOUNG J S， CHOI Y S. A lightweight end-to-end neural networks for decoding of motor imagery brain signal ［C］// Proceedings of the 13th International Conference on Ubiquitous and Future Networks. Piscataway： IEEE， 2022： 411-413.
[8]	FU R， WANG Z， WANG S， et al. EEGNet-MSD： a sparse convolutional neural network for efficient EEG-based intent decoding ［J］. IEEE Sensors Journal， 2023， 23（17）： 19684-19691.
[9]	IZZUDDIN T A， SAFRI N M， OTHMAN M A. Compact Convolutional Neural Network （CNN） based on SincNet for end-to-end motor imagery decoding and analysis ［J］. Biocybernetics and Biomedical Engineering， 2021， 41（4）： 1629-1645.
[10]	BRIA A， MARROCCO C， TORTORELLA F. Sinc-based convolutional neural networks for EEG-BCI-based motor imagery classification ［C］// Proceedings of the 2021 International Conference on Pattern Recognition， LNCS 12661. Cham： Springer， 2021： 526-535.
[11]	RAVANELLI M， BENGIO Y. Speaker recognition from raw waveform with SincNet ［C］// Proceedings of the 2018 IEEE Spoken Language Technology Workshop. Piscataway： IEEE， 2018： 1021-1028.
[12]	INGOLFSSON T M， HERSCHE M， WANG X， et al. EEG-TCNet： an accurate temporal convolutional network for embedded motor-imagery brain-machine interfaces ［C］// Proceedings of the 2020 IEEE International Conference on Systems， Man， and Cybernetics. Piscataway： IEEE， 2020： 2958-2965.
[13]	TANGERMANN M， MÜLLER K R， AERTSEN A， et al. Review of the BCI competition IV ［J］. Frontiers in Neuroscience， 2012， 6： No.55.
[14]	AUTTHASAN P， CHAISAEN R， SUDHAWIYANGKUL T， et al. MIN2Net： end-to-end multi-task learning for subject-independent motor imagery EEG classification ［J］. IEEE Transactions on Biomedical Engineering， 2022， 69（6）： 2105-2118.
[15]	LEE M H， KWON O Y， KIM Y J， et al. EEG dataset and OpenBMI toolbox for three BCI paradigms： an investigation into BCI illiteracy ［J］. GigaScience， 2019， 8（5）： No.giz002.
[16]	MUSALLAM Y K， AlFASSAM N I， MUHAMMAD G， et al. Electroencephalography-based motor imagery classification using temporal convolutional network fusion ［J］. Biomedical Signal Processing and Control， 2021， 69： No.102826.
[17]	CHEN S， LI N， KONG X， et al. Electroencephalography-based motor imagery classification using multi-scale feature fusion and adaptive lasso ［J］. Big Data and Cognitive Computing， 2024， 8（12）： No.169.

多域特征融合的轻量化运动想象脑电信号解码神经网络

Lightweight motor imagery electroencephalogram decoding neural network with multi-domain feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 18

参考文献 17

相关文章 15

编辑推荐

Metrics

[1]	周天彤, 郑妍琪, 魏韬, 戴亚康, 邹凌. 融合变分图自编码器与局部-全局图网络的认知负荷脑电识别模型[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1849-1857.
[2]	马汉达, 吴亚东. 多域时空层次图神经网络的空气质量预测[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 444-452.
[3]	崔家礼, 刘永基, 李子贺, 郑瀚. 轻量且高精度增强的姿态检测网络HG-YOLO[J]. 《计算机应用》唯一官方网站, 2025, 45(12): 4004-4011.
[4]	邓酩, 徐锦凡, 肖洪祥, 谢晓兰. 改进TransUNet的高效通道注意力医学图像分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(12): 4037-4044.
[5]	何敏, 罗天健. 多阶段分布适应的跨被试运动想象脑电解码模型[J]. 《计算机应用》唯一官方网站, 2025, 45(12): 4064-4072.
[6]	李卓然, 李华, 王桐, 蒋朝哲. 基于融合特征状态空间模型的轻量化人体姿态估计[J]. 《计算机应用》唯一官方网站, 2025, 45(10): 3179-3186.
[7]	文连庆, 陶冶, 田云龙, 牛丽, 孙宏霞. 基于流的轻量化高质量文本到语音转换方法[J]. 《计算机应用》唯一官方网站, 2025, 45(10): 3277-3283.
[8]	张勇进, 徐健, 张明星. 面向轻量化的改进YOLOv7棉杂检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2271-2278.
[9]	晁浩, 封舒琪, 刘永利. 脑电情感识别中多上下文向量优化的卷积递归神经网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2041-2046.
[10]	程小辉, 黄云天, 张瑞芳. 基于多尺度和加权坐标注意力的轻量化红外道路场景检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1927-1934.
[11]	宋霄罡, 张冬冬, 张鹏飞, 梁莉, 黑新宏. 面向复杂施工环境的实时目标检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1605-1612.
[12]	耿焕同, 刘振宇, 蒋骏, 范子辰, 李嘉兴. 基于改进YOLOv8的嵌入式道路裂缝检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1613-1618.
[13]	时旺军, 王晶, 宁晓军, 林友芳. 小样本场景下的元迁移学习睡眠分期模型[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1445-1451.
[14]	封筠, 毕健康, 霍一儒, 李家宽. 轻量化沥青路面裂缝图像分割网络PIPNet[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1520-1526.
[15]	黄子杰, 欧阳, 江德港, 郭彩玲, 李柏林. 面向牵引座焊缝表面质量检测的轻量型深度学习算法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 983-988.