运动想象脑电信号的跨被试动态多域对抗学习方法

doi:10.11772/j.issn.1001-9081.2023030286

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (2): 645-653.DOI: 10.11772/j.issn.1001-9081.2023030286

所属专题：前沿与综合应用

运动想象脑电信号的跨被试动态多域对抗学习方法

曹铉¹^,², 罗天健¹^,²()

^1.福建师范大学计算机与网络空间安全学院，福州 350117
^2.数字福建环境监测物联网实验室（福建师范大学），福州 350117

收稿日期:2023-03-20 修回日期:2023-05-06 接受日期:2023-05-10 发布日期:2023-05-26 出版日期:2024-02-10
通讯作者: 罗天健
作者简介:曹铉（1998—），男，山东兖州人，硕士研究生，主要研究方向：脑机接口、模式识别、脑电信号分析；
基金资助:
国家自然科学基金资助项目(62106049);福建省自然科学基金资助项目(2022J01655)

Dynamic multi-domain adversarial learning method for cross-subject motor imagery EEG signals

Xuan CAO¹^,², Tianjian LUO¹^,²()

^1.College of Computer and Cyber Security，Fujian Normal University，Fuzhou Fujian 350117，China
^2.Digital Fujian Internet?of?Thing Laboratory of Environmental Monitoring （Fujian Normal University），Fuzhou Fujian 350117，China

Received:2023-03-20 Revised:2023-05-06 Accepted:2023-05-10 Online:2023-05-26 Published:2024-02-10
Contact: Tianjian LUO
About author:CAO Xuan， born in 1998， M. S. candidate. His research interests include brain computer interface， pattern recognition， EEG signal analysis.
Supported by:
National Natural Science Foundation of China(62106049);Natural Science Foundation of Fujian Province(2022J01655)

摘要/Abstract

摘要：

解码运动想象脑电（EEG）信号是构造脑机接口（BCI）的关键技术之一。然而，脑电样本采集成本高、个体差异大，且信号具有时变性强、低信噪比等特点，构建跨被试模式识别方法成为了研究的关键。为此，提出一种跨被试动态多域对抗学习方法。首先采用样本协方差对齐和全局域鉴别器适应样本集边缘分布，随后采用多个类别子域鉴别器适应样本集条件分布，并自适应学习多域鉴别器的对抗系数。基于动态多域对抗学习策略，所提出的动态多域对抗网络（DMDAN）模型可学习到被试域间有泛化能力的深度特征。在BCI Competition IV 2A和2B公开数据集上的实验结果表明，DMDAN模型提高了跨被试域不变特征的学习能力，与现有对抗学习方法DRDA（Deep Representation Domain Adaptation）相比，在数据集2A和数据集2B上的平均分类准确率分别提高了1.80和2.52个百分点。可见，所提出的DMDAN模型提升了跨被试运动想象脑电信号解码性能，在不同数据集上具有不错的泛化性。

关键词: 动态对抗学习, 运动想象, 脑电信号, 域适应, 协方差矩阵对齐

Abstract:

Decoding motor imagery EEG （ElectroEncephaloGraphy） signal is one of the crucial techniques for building Brain Computer Interface （BCI） system. Due to EEG signal’s high cost of acquisition， large inter-subject discrepancy， and characteristics of strong time variability and low signal-to-noise ratio， constructing cross-subject pattern recognition methods become the key problem of such study. To solve the existing problem， a cross-subject dynamic multi-domain adversarial learning method was proposed. Firstly， the covariance matrix alignment method was used to align the given EEG samples. Then， a global discriminator was adapted for marginal distribution of different domains， and multiple class-wise local discriminators were adapted to conditional distribution for each class. The self-adaptive adversarial factor for multi-domain discriminator was automatically learned during training iterations. Based on dynamic multi-domain adversarial learning strategy， the Dynamic Multi-Domain Adversarial Network （DMDAN） model could learn deep features with generalization ability between cross-subject domains. Experimental results on public BCI Competition IV 2A and 2B datasets show that， DMDAN model improves the ability of learning domain-invariant features， achieving 1.80 and 2.52 percentage points higher average classification accuracy on dataset 2A and dataset 2B compared with the existing adversarial learning method Deep Representation Domain Adaptation （DRDA）. It can be seen that DMDAN model improves the decoding performance of cross-subject motor imagery EEG signals， and has generalization ability on different datasets.

Key words: dynamic adversarial learning, Motor Imagery (MI), EEG (ElectroEncephaloGraphy) signal, domain adaptation, covariance matrix alignment

中图分类号:

TP242

曹铉, 罗天健. 运动想象脑电信号的跨被试动态多域对抗学习方法[J]. 计算机应用, 2024, 44(2): 645-653.

Xuan CAO, Tianjian LUO. Dynamic multi-domain adversarial learning method for cross-subject motor imagery EEG signals[J]. Journal of Computer Applications, 2024, 44(2): 645-653.

图/表 16

参考文献 30

1	AL-SAEGH A， DAWWD S A， ABDUL-JABBAR J M. Deep learning for motor imagery EEG-based classification： a review ［J］. Biomedical Signal Processing and Control， 2021， 63： 102172. 10.1016/j.bspc.2020.102172
2	HOUSSEIN E H， HAMMAD A， ALI A A. Human emotion recognition from EEG-based brain-computer interface using machine learning： a comprehensive review ［J］. Neural Computing and Applications， 2022， 34： 12527-12557. 10.1007/s00521-022-07292-4
3	刘拓，叶阳阳，王坤，等.运动想象脑电信号分类算法的研究进展［J］.生物医学工程学杂志， 2021， 38（5）： 995-1002. 10.7507/1001-5515.202101089
	LIU T， YE Y Y， WANG K， et al. Progress of classification algorithms for motor imagery electroencephalogram signals ［J］. Journal of Biomedical Engineering， 2021， 38（5）： 995-1002. 10.7507/1001-5515.202101089
4	ARPAIA P， ESPOSITO A， NATALIZIO A， et al. How to successfully classify EEG in motor imagery BCI： a metrological analysis of the state of the art ［J］. Journal of Neural Engineering， 2022， 19： 031002. 10.1088/1741-2552/ac74e0
5	彭禹，宋耀莲，杨俊. 基于数据增强的运动想象脑电分类［J］.计算机应用， 2022， 42（11）： 3625-3632. 10.11772/j.issn.1001-9081.2021091701
	PENG Y， SONG Y L， YANG J. Motor imagery electroencephalography classification based on data augmentation ［J］. Journal of Computer Applications， 2022， 42（11）： 3625-3632. 10.11772/j.issn.1001-9081.2021091701
6	霍首君，郝琰，石慧宇，等.基于深度卷积网络的运动想象脑电信号模式识别［J］. 计算机应用， 2021， 41（4）： 1042-1048. 10.11772/j.issn.1001-9081.2020081300
	HUO S J， HAO Y， SHI H Y， et al. Pattern recognition of motor imagery EEG based on deep convolutional network ［J］， Journal of Computer Applications， 2021， 41（4）： 1042-1048. 10.11772/j.issn.1001-9081.2020081300
7	张宪法，郝矿荣，陈磊.免疫多域特征融合的多核学习SVM运动想象脑电信号分类［J］. 自动化学报， 2020， 46（11）： 2417-2426. 10.16383/j.aas.c180247
	ZHANG X F， HAO K R， CHEN L. Motor imagery EEG classification based on immune multi-domain-feature fusion and multiple kernel learning SVM ［J］. Acta Automatica Sinica， 2020，46（11）： 2417-2426. 10.16383/j.aas.c180247
8	ANG K K， CHIN Z Y， WANG C， et al. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b［J］. Frontiers in Neuroscience， 2012， 6： No.39. 10.3389/fnins.2012.00039
9	KANG H， NAM Y， CHOI S. Composite common spatial pattern for subject-to-subject transfer ［J］. IEEE Signal Processing Letters， 2009， 16（8）： 683-686. 10.1109/lsp.2009.2022557
10	SAMEK W， MEINECKE F C， K-R MÜLLER. Transferring subspaces between subjects in brain-computer interfacing ［J］. IEEE Transactions on Biomedical Engineering， 2013， 60（8）： 2289-2298. 10.1109/tbme.2013.2253608
11	罗天健，周昌乐.重叠特征策略与参数优化的运动想象脑电模式识别［J］.模式识别与人工智能， 2020， 33（8）： 692-704. 10.16451/j.cnki.issn1003-6059.202008003
	LUO T J， ZHOU C L. Overlapped features strategy and parameters optimization patterns recognition for motor imagery EEG ［J］. Pattern Recognition and Artificial Intelligence， 2020， 33（8）： 692-704. 10.16451/j.cnki.issn1003-6059.202008003
12	ZHENG Q， ZHU F， QIN J， et al. Sparse support matrix machine ［J］. Pattern Recognition， 2018， 76： 715-726. 10.1016/j.patcog.2017.10.003
13	SCHIRRMEISTER R T， SPRINGENBERG T J， FIEDERER L D J， et al. Deep learning with convolutional neural networks for EEG decoding and visualization［J］. Human Brain Mapping， 2017， 38（11）： 5391-5420. 10.1002/hbm.23730
14	SAKHAVI S， GUAN C， YAN S. Learning temporal information for brain-computer interface using convolutional neural networks ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（11）： 5619-5629. 10.1109/tnnls.2018.2789927
15	DOSE H， MØLLER J S， IVERSEN H K， et al. An end-to-end deep learning approach to MI-EEG signal classification for BCIs ［J］. Expert Systems with Applications， 2018. 114： 532-542. 10.1016/j.eswa.2018.08.031
16	韦泓妤，陈黎飞，罗天健.运动想象脑电信号的跨域特征学习方法［J］.计算机应用研究， 2022， 39（8）： 2340-2346. 10.11772/j.issn.1001-9081.2023030286
	WEI H Y， CHEN L F， LUO T J. Cross-domain feature learning method for motor imagery EEG signals ［J］. Application Research of Computers， 2022， 39（8）： 2340-2346. 10.11772/j.issn.1001-9081.2023030286
17	ZANINI P， CONGEDO M， JUTTEN C， et al. Transfer learning： A Riemannian geometry framework with applications to brain-computer interfaces ［J］. IEEE Transactions on Biomedical Engineering， 2017， 65（5）： 1107-1116. 10.1109/tbme.2017.2742541
18	HE H， WU D. Transfer learning for brain-computer interfaces： a Euclidean space data alignment approach ［J］. IEEE Transactions on Biomedical Engineering， 2020， 67（2）： 399-410. 10.1109/tbme.2019.2913914
19	ZHANG X， SHE Q， CHEN Y， et al. Sub-band target alignment common spatial pattern in brain-computer interface ［J］. Computer Methods and Programs in Biomedicine， 2021， 207： 106150. 10.1016/j.cmpb.2021.106150
20	ZHANG W， WU D. Manifold embedded knowledge transfer for brain-computer interfaces ［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2020， 28（5）： 1117-1127. 10.1109/tnsre.2020.2985996
21	CAI Y， SHE Q， JI J， et al. Motor imagery EEG decoding using manifold embedded transfer learning ［J］. Journal of Neuroscience Methods， 2022， 370： 109489. 10.1016/j.jneumeth.2022.109489
22	GANIN Y， LEMPITSKY V. Unsupervised domain adaptation by back propagation ［C］// Proceedings of the 32nd International Conference on International Conference on Machine Learning. New York： JMLR.org， 2015： 1180-1189.
23	SAKHAVI S， GUAN C. Convolutional neural network-based transfer learning and knowledge distillation using multi-subject data in motor imagery BCI ［C］ // Proceedings of the 2017 8th International IEEE/EMBS Conference on Neural Engineering. Piscataway： IEEE， 2017： 588-591. 10.1109/ner.2017.8008420
24	LI Y， ZHENG W， ZONG Y， et al. A bi-hemisphere domain adversarial neural network model for EEG emotion recognition ［J］. IEEE Transactions on Affective Computing， 2021， 12（2）： 494-504. 10.1109/taffc.2018.2885474
25	ZHAO H， ZHENG Q， MA K， et al. Deep representation-based domain adaptation for nonstationary EEG classification ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（2）： 535-545. 10.1109/tnnls.2020.3010780
26	HONG X， ZHENG Q， LIU L， et al. Dynamic joint domain adaptation network for motor imagery classification ［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2021， 29： 556-565. 10.1109/tnsre.2021.3059166
27	张玉红，余道远，胡学钢.领域自适应任务中的动态参数调整方法［J］.模式识别与人工智能，2021， 34（10）： 924-931. 10.16451/j.cnki.issn1003-6059.202110005
	ZHANG Y H， YU D Y， HU X G. Dynamic parameter setting method for domain adaptation ［J］. Pattern Recognition and Artificial Intelligence， 2021， 34（10）： 924-931. 10.16451/j.cnki.issn1003-6059.202110005
28	YU C， WANG J， CHEN Y， et al. Transfer Learning with Dynamic Adversarial Adaptation Network ［C］// Proceedings of 2019 IEEE International Conference on Data Mining. Piscataway： IEEE， 2019： 778-786. 10.1109/icdm.2019.00088
29	TANGERMANN M， MÜLLER K R， AERTSEN A， et al. Review of the BCI competition IV ［J］. Frontiers in NeuroScience， 2012， 6： No.55. 10.3389/fnins.2012.00055
30	VAN DER MAATEN L， HINTON G. Visualizing data using t-SNE ［J］. Journal of Machine Learning Research， 2008， 9： 2579-2605.

模块	层	卷积核	卷积核步长	卷积核数
特征提取器	时域特征卷积	1×30	［1，1］	30
	空域特征卷积	C×1	［1，1］	30
	均值池化	1×90	［1，15］	—
分类器	全连接层	128	—	—
	全连接层	64	—	—
	全连接层	类别	—	—

模块	层	卷积核	卷积核步长	卷积核数
特征提取器	时域特征卷积	1×30	［1，1］	30
	空域特征卷积	C×1	［1，1］	30
	均值池化	1×90	［1，15］	—
分类器	全连接层	128	—	—
	全连接层	64	—	—
	全连接层	类别	—	—

模块	层	卷积核
全局域鉴别器	全连接层	128
	全连接层	64
	全连接层	32
	全连接层	1
	激活函数sigmoid	—
各类别子域鉴别器	全连接层	128
	全连接层	32
	全连接层	16
	全连接层	1
	激活函数sigmoid	—

模块	层	卷积核
全局域鉴别器	全连接层	128
	全连接层	64
	全连接层	32
	全连接层	1
	激活函数sigmoid	—
各类别子域鉴别器	全连接层	128
	全连接层	32
	全连接层	16
	全连接层	1
	激活函数sigmoid	—

数据集	被试者数	MI类别数	EEG通道数	样本时间点数	源域训练样本数	目标域训练样本数	目标域测试样本数
2A	9	4	22	1 000	4 608	288	288
2B	9	2	3	1 000	5 800	400	320

运动想象脑电信号的跨被试动态多域对抗学习方法

Dynamic multi-domain adversarial learning method for cross-subject motor imagery EEG signals

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 30

相关文章 15

编辑推荐

Metrics

数据集	被试者	训练时间	测试时间
2A	A01	2 301	10
	A02	2 369	11
	A03	2 304	11
	A04	2 165	10
	A05	1 861	8
	A06	1 987	8
	A07	1 914	7
	A08	2 441	12
	A09	3 417	19
2B	B01	1 121	7
	B02	1 054	30
	B03	1 057	32
	B04	1 056	32
	B05	1 050	7
	B06	1 077	32
	B07	1 093	28
	B08	1 059	5
	B09	1 138	6

模型	不同被试者的分类准确率/%									分类准确率均值±标准差/%	kappa系数
模型	A01	A02	A03	A04	A05	A06	A07	A08	A09	分类准确率均值±标准差/%	kappa系数
FBCSP^［8］	76.00	56.50	81.25	61.00	55.00	45.25	82.75	81.25	70.75	67.75±13.73	0.570 0
CCSP^［7］	84.72	52.78	80.90	59.38	54.51	49.31	88.54	71.88	56.60	66.51±15.13	0.553 5
SSCSP^［10］	76.74	58.68	81.25	57.64	38.54	48.26	76.39	79.17	78.82	66.17±15.75	0.548 9
SMM^［11］	81.94	59.38	81.60	62.85	59.03	49.36	86.11	77.78	78.47	70.72±13.11	0.610 0
SSMM^［12］	82.64	60.76	85.76	67.01	58.68	54.51	90.97	81.25	79.51	73.45±13.32	0.646 0
C2CM^［14］	87.50	65.28	90.28	66.67	62.50	45.49	89.58	83.33	79.51	74.46±15.33	0.659 5
ConvNet^［13］	76.39	55.21	89.24	74.65	56.94	54.17	92.71	77.08	76.39	72.53±14.24	0.633 8
MI-CNN^［15］	73.26	28.82	89.58	68.06	26.39	28.82	75.35	78.82	77.08	60.69±25.17	0.475 8
DRDA^［25］	83.19	55.14	87.43	75.28	62.29	57.15	86.18	83.61	82.00	74.70±12.96	0.663 3
DJDAN^［26］	86.46	68.75	93.06	85.42	72.75	63.54	95.49	85.76	83.68	81.52±10.92	—
DMDAN	84.72	61.11	92.36	69.44	62.85	57.64	88.89	85.42	86.11	76.50±13.57	0.686 7

模型	数据集2A	数据集2B
实验1	74.48	84.77
实验2	75.36	85.52
实验3	75.46	84.88
DMDAN	76.50	86.50

[1]	晁浩, 封舒琪, 刘永利. 脑电情感识别中多上下文向量优化的卷积递归神经网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2041-2046.
[2]	时旺军, 王晶, 宁晓军, 林友芳. 小样本场景下的元迁移学习睡眠分期模型[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1445-1451.
[3]	杨思琪, 罗天健, 严宣辉, 杨光局. 运动想象脑电图的空域特征迁移核学习方法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3354-3363.
[4]	杨淑莹, 国海铭, 李欣. 基于通道选择和多维特征融合的脑电信号分类[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3418-3427.
[5]	张军鹏, 施玉杰, 蒋睿, 董静静, 邱昌建. 基于脑电信号的认知功能障碍识别与分类进展综述[J]. 《计算机应用》唯一官方网站, 2023, 43(10): 3297-3308.
[6]	陈代丽, 许国良. 基于注意力机制学习域内变化的跨域行人重识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1391-1397.
[7]	秦静, 孙法莉, HUI Fang, 汪祖民, 高兵, 季长清. 可穿戴脑电图设备关键技术及其应用综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1029-1035.
[8]	彭禹, 宋耀莲, 杨俊. 基于数据增强的运动想象脑电分类[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3625-3632.
[9]	霍首君, 郝琰, 石慧宇, 董艳清, 曹锐. 基于深度卷积网络的运动想象脑电信号模式识别[J]. 计算机应用, 2021, 41(4): 1042-1048.
[10]	袁园, 吴文, 万毅. 基于熵驱动域适应学习的单幅图像阴影检测方法[J]. 计算机应用, 2020, 40(7): 2131-2136.
[11]	肖禾, 刘志勤, 王庆凤, 黄俊, 周莹, 刘启榆, 徐卫云. 基于迁移学习的多视角乳腺肿块和钙化簇分类方法[J]. 计算机应用, 2020, 40(5): 1460-1464.
[12]	罗飞, 刘鹏飞, 罗元, 朱思蒙. 多特征融合的运动想象脑电特征提取方法[J]. 《计算机应用》唯一官方网站, 2020, 40(2): 616-620.
[13]	胡章芳, 张力, 黄丽嘉, 罗元. 基于时频域的卷积神经网络运动想象脑电信号识别方法[J]. 计算机应用, 2019, 39(8): 2480-2483.
[14]	谭瑶, 饶文碧. 异构复合迁移学习的视频内容标注方法[J]. 计算机应用, 2018, 38(6): 1547-1553.
[15]	胡敏, 李冲, 路荣荣, 黄宏程. 基于三维视觉指导的运动想象训练性能分析[J]. 计算机应用, 2018, 38(3): 836-841.

模型	不同被试者的分类准确率/%									分类准确率均值±标准差/%	kappa系数
模型	B01	B02	B03	B04	B05	B06	B07	B08	B09	分类准确率均值±标准差/%	kappa系数
FBCSP^［8］	70.00	60.36	60.94	97.50	93.12	80.63	78.13	92.50	86.88	80.00±13.85	0.600 0
CCSP^［7］	63.75	56.79	50.00	93.44	65.36	81.25	72.81	87.81	82.81	72.67±14.73	0.454 0
SSCSP^［10］	65.00	56.79	54.06	95.63	74.69	79.06	80.00	87.81	82.81	75.09±13.97	0.501 8
SMM^［11］	67.81	51.79	53.44	93.31	82.81	74.69	72.19	82.50	75.62	72.68±13.55	0.454 0
SSMM^［12］	74.06	55.00	55.63	94.06	86.88	82.19	76.56	92.19	85.62	78.02±14.41	0.560 0
C2CM^［14］	87.50	65.28	90.28	66.67	62.50	45.49	89.58	83.33	79.51	74.46±15.33	—
ConvNet^［13］	76.56	50.00	51.56	96.88	93.13	85.31	83.75	91.56	85.62	79.37±17.26	0.587 5
MI-CNN^［15］	75.31	57.50	56.56	96.88	92.19	83.44	84.06	92.81	86.26	80.56±14.75	0.611 1
DRDA^［25］	81.37	62.86	63.63	95.94	93.56	88.19	85.00	95.25	90.00	83.98±12.67	0.679 6
DJDAN^［26］	83.44	58.57	59.06	98.13	96.56	84.38	86.52	92.81	87.81	83.03±14.65	—
DMDAN	76.56	73.57	82.19	95.94	98.12	83.13	91.56	95.00	82.50	86.50±8.90	0.730 1

模型	不同被试者的分类准确率/%									分类准确率均值±标准差/%	kappa系数
模型	B01	B02	B03	B04	B05	B06	B07	B08	B09	分类准确率均值±标准差/%	kappa系数
FBCSP^［8］	70.00	60.36	60.94	97.50	93.12	80.63	78.13	92.50	86.88	80.00±13.85	0.600 0
CCSP^［7］	63.75	56.79	50.00	93.44	65.36	81.25	72.81	87.81	82.81	72.67±14.73	0.454 0
SSCSP^［10］	65.00	56.79	54.06	95.63	74.69	79.06	80.00	87.81	82.81	75.09±13.97	0.501 8
SMM^［11］	67.81	51.79	53.44	93.31	82.81	74.69	72.19	82.50	75.62	72.68±13.55	0.454 0
SSMM^［12］	74.06	55.00	55.63	94.06	86.88	82.19	76.56	92.19	85.62	78.02±14.41	0.560 0
C2CM^［14］	87.50	65.28	90.28	66.67	62.50	45.49	89.58	83.33	79.51	74.46±15.33	—
ConvNet^［13］	76.56	50.00	51.56	96.88	93.13	85.31	83.75	91.56	85.62	79.37±17.26	0.587 5
MI-CNN^［15］	75.31	57.50	56.56	96.88	92.19	83.44	84.06	92.81	86.26	80.56±14.75	0.611 1
DRDA^［25］	81.37	62.86	63.63	95.94	93.56	88.19	85.00	95.25	90.00	83.98±12.67	0.679 6
DJDAN^［26］	83.44	58.57	59.06	98.13	96.56	84.38	86.52	92.81	87.81	83.03±14.65	—
DMDAN	76.56	73.57	82.19	95.94	98.12	83.13	91.56	95.00	82.50	86.50±8.90	0.730 1