Dynamic multi-domain adversarial learning method for cross-subject motor imagery EEG signals

doi:10.11772/j.issn.1001-9081.2023030286

Abstract

Abstract:

Decoding motor imagery EEG （ElectroEncephaloGraphy） signal is one of the crucial techniques for building Brain Computer Interface （BCI） system. Due to EEG signal’s high cost of acquisition， large inter-subject discrepancy， and characteristics of strong time variability and low signal-to-noise ratio， constructing cross-subject pattern recognition methods become the key problem of such study. To solve the existing problem， a cross-subject dynamic multi-domain adversarial learning method was proposed. Firstly， the covariance matrix alignment method was used to align the given EEG samples. Then， a global discriminator was adapted for marginal distribution of different domains， and multiple class-wise local discriminators were adapted to conditional distribution for each class. The self-adaptive adversarial factor for multi-domain discriminator was automatically learned during training iterations. Based on dynamic multi-domain adversarial learning strategy， the Dynamic Multi-Domain Adversarial Network （DMDAN） model could learn deep features with generalization ability between cross-subject domains. Experimental results on public BCI Competition IV 2A and 2B datasets show that， DMDAN model improves the ability of learning domain-invariant features， achieving 1.80 and 2.52 percentage points higher average classification accuracy on dataset 2A and dataset 2B compared with the existing adversarial learning method Deep Representation Domain Adaptation （DRDA）. It can be seen that DMDAN model improves the decoding performance of cross-subject motor imagery EEG signals， and has generalization ability on different datasets.

Key words: dynamic adversarial learning, Motor Imagery (MI), EEG (ElectroEncephaloGraphy) signal, domain adaptation, covariance matrix alignment

摘要：

解码运动想象脑电（EEG）信号是构造脑机接口（BCI）的关键技术之一。然而，脑电样本采集成本高、个体差异大，且信号具有时变性强、低信噪比等特点，构建跨被试模式识别方法成为了研究的关键。为此，提出一种跨被试动态多域对抗学习方法。首先采用样本协方差对齐和全局域鉴别器适应样本集边缘分布，随后采用多个类别子域鉴别器适应样本集条件分布，并自适应学习多域鉴别器的对抗系数。基于动态多域对抗学习策略，所提出的动态多域对抗网络（DMDAN）模型可学习到被试域间有泛化能力的深度特征。在BCI Competition IV 2A和2B公开数据集上的实验结果表明，DMDAN模型提高了跨被试域不变特征的学习能力，与现有对抗学习方法DRDA（Deep Representation Domain Adaptation）相比，在数据集2A和数据集2B上的平均分类准确率分别提高了1.80和2.52个百分点。可见，所提出的DMDAN模型提升了跨被试运动想象脑电信号解码性能，在不同数据集上具有不错的泛化性。

关键词: 动态对抗学习, 运动想象, 脑电信号, 域适应, 协方差矩阵对齐

CLC Number:

TP242

Xuan CAO, Tianjian LUO. Dynamic multi-domain adversarial learning method for cross-subject motor imagery EEG signals[J]. Journal of Computer Applications, 2024, 44(2): 645-653.

曹铉, 罗天健. 运动想象脑电信号的跨被试动态多域对抗学习方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 645-653.

Figures/Tables 16

References 30

1	AL-SAEGH A， DAWWD S A， ABDUL-JABBAR J M. Deep learning for motor imagery EEG-based classification： a review ［J］. Biomedical Signal Processing and Control， 2021， 63： 102172. 10.1016/j.bspc.2020.102172
2	HOUSSEIN E H， HAMMAD A， ALI A A. Human emotion recognition from EEG-based brain-computer interface using machine learning： a comprehensive review ［J］. Neural Computing and Applications， 2022， 34： 12527-12557. 10.1007/s00521-022-07292-4
3	刘拓，叶阳阳，王坤，等.运动想象脑电信号分类算法的研究进展［J］.生物医学工程学杂志， 2021， 38（5）： 995-1002. 10.7507/1001-5515.202101089
	LIU T， YE Y Y， WANG K， et al. Progress of classification algorithms for motor imagery electroencephalogram signals ［J］. Journal of Biomedical Engineering， 2021， 38（5）： 995-1002. 10.7507/1001-5515.202101089
4	ARPAIA P， ESPOSITO A， NATALIZIO A， et al. How to successfully classify EEG in motor imagery BCI： a metrological analysis of the state of the art ［J］. Journal of Neural Engineering， 2022， 19： 031002. 10.1088/1741-2552/ac74e0
5	彭禹，宋耀莲，杨俊. 基于数据增强的运动想象脑电分类［J］.计算机应用， 2022， 42（11）： 3625-3632. 10.11772/j.issn.1001-9081.2021091701
	PENG Y， SONG Y L， YANG J. Motor imagery electroencephalography classification based on data augmentation ［J］. Journal of Computer Applications， 2022， 42（11）： 3625-3632. 10.11772/j.issn.1001-9081.2021091701
6	霍首君，郝琰，石慧宇，等.基于深度卷积网络的运动想象脑电信号模式识别［J］. 计算机应用， 2021， 41（4）： 1042-1048. 10.11772/j.issn.1001-9081.2020081300
	HUO S J， HAO Y， SHI H Y， et al. Pattern recognition of motor imagery EEG based on deep convolutional network ［J］， Journal of Computer Applications， 2021， 41（4）： 1042-1048. 10.11772/j.issn.1001-9081.2020081300
7	张宪法，郝矿荣，陈磊.免疫多域特征融合的多核学习SVM运动想象脑电信号分类［J］. 自动化学报， 2020， 46（11）： 2417-2426. 10.16383/j.aas.c180247
	ZHANG X F， HAO K R， CHEN L. Motor imagery EEG classification based on immune multi-domain-feature fusion and multiple kernel learning SVM ［J］. Acta Automatica Sinica， 2020，46（11）： 2417-2426. 10.16383/j.aas.c180247
8	ANG K K， CHIN Z Y， WANG C， et al. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b［J］. Frontiers in Neuroscience， 2012， 6： No.39. 10.3389/fnins.2012.00039
9	KANG H， NAM Y， CHOI S. Composite common spatial pattern for subject-to-subject transfer ［J］. IEEE Signal Processing Letters， 2009， 16（8）： 683-686. 10.1109/lsp.2009.2022557
10	SAMEK W， MEINECKE F C， K-R MÜLLER. Transferring subspaces between subjects in brain-computer interfacing ［J］. IEEE Transactions on Biomedical Engineering， 2013， 60（8）： 2289-2298. 10.1109/tbme.2013.2253608
11	罗天健，周昌乐.重叠特征策略与参数优化的运动想象脑电模式识别［J］.模式识别与人工智能， 2020， 33（8）： 692-704. 10.16451/j.cnki.issn1003-6059.202008003
	LUO T J， ZHOU C L. Overlapped features strategy and parameters optimization patterns recognition for motor imagery EEG ［J］. Pattern Recognition and Artificial Intelligence， 2020， 33（8）： 692-704. 10.16451/j.cnki.issn1003-6059.202008003
12	ZHENG Q， ZHU F， QIN J， et al. Sparse support matrix machine ［J］. Pattern Recognition， 2018， 76： 715-726. 10.1016/j.patcog.2017.10.003
13	SCHIRRMEISTER R T， SPRINGENBERG T J， FIEDERER L D J， et al. Deep learning with convolutional neural networks for EEG decoding and visualization［J］. Human Brain Mapping， 2017， 38（11）： 5391-5420. 10.1002/hbm.23730
14	SAKHAVI S， GUAN C， YAN S. Learning temporal information for brain-computer interface using convolutional neural networks ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（11）： 5619-5629. 10.1109/tnnls.2018.2789927
15	DOSE H， MØLLER J S， IVERSEN H K， et al. An end-to-end deep learning approach to MI-EEG signal classification for BCIs ［J］. Expert Systems with Applications， 2018. 114： 532-542. 10.1016/j.eswa.2018.08.031
16	韦泓妤，陈黎飞，罗天健.运动想象脑电信号的跨域特征学习方法［J］.计算机应用研究， 2022， 39（8）： 2340-2346. 10.11772/j.issn.1001-9081.2023030286
	WEI H Y， CHEN L F， LUO T J. Cross-domain feature learning method for motor imagery EEG signals ［J］. Application Research of Computers， 2022， 39（8）： 2340-2346. 10.11772/j.issn.1001-9081.2023030286
17	ZANINI P， CONGEDO M， JUTTEN C， et al. Transfer learning： A Riemannian geometry framework with applications to brain-computer interfaces ［J］. IEEE Transactions on Biomedical Engineering， 2017， 65（5）： 1107-1116. 10.1109/tbme.2017.2742541
18	HE H， WU D. Transfer learning for brain-computer interfaces： a Euclidean space data alignment approach ［J］. IEEE Transactions on Biomedical Engineering， 2020， 67（2）： 399-410. 10.1109/tbme.2019.2913914
19	ZHANG X， SHE Q， CHEN Y， et al. Sub-band target alignment common spatial pattern in brain-computer interface ［J］. Computer Methods and Programs in Biomedicine， 2021， 207： 106150. 10.1016/j.cmpb.2021.106150
20	ZHANG W， WU D. Manifold embedded knowledge transfer for brain-computer interfaces ［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2020， 28（5）： 1117-1127. 10.1109/tnsre.2020.2985996
21	CAI Y， SHE Q， JI J， et al. Motor imagery EEG decoding using manifold embedded transfer learning ［J］. Journal of Neuroscience Methods， 2022， 370： 109489. 10.1016/j.jneumeth.2022.109489
22	GANIN Y， LEMPITSKY V. Unsupervised domain adaptation by back propagation ［C］// Proceedings of the 32nd International Conference on International Conference on Machine Learning. New York： JMLR.org， 2015： 1180-1189.
23	SAKHAVI S， GUAN C. Convolutional neural network-based transfer learning and knowledge distillation using multi-subject data in motor imagery BCI ［C］ // Proceedings of the 2017 8th International IEEE/EMBS Conference on Neural Engineering. Piscataway： IEEE， 2017： 588-591. 10.1109/ner.2017.8008420
24	LI Y， ZHENG W， ZONG Y， et al. A bi-hemisphere domain adversarial neural network model for EEG emotion recognition ［J］. IEEE Transactions on Affective Computing， 2021， 12（2）： 494-504. 10.1109/taffc.2018.2885474
25	ZHAO H， ZHENG Q， MA K， et al. Deep representation-based domain adaptation for nonstationary EEG classification ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（2）： 535-545. 10.1109/tnnls.2020.3010780
26	HONG X， ZHENG Q， LIU L， et al. Dynamic joint domain adaptation network for motor imagery classification ［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2021， 29： 556-565. 10.1109/tnsre.2021.3059166
27	张玉红，余道远，胡学钢.领域自适应任务中的动态参数调整方法［J］.模式识别与人工智能，2021， 34（10）： 924-931. 10.16451/j.cnki.issn1003-6059.202110005
	ZHANG Y H， YU D Y， HU X G. Dynamic parameter setting method for domain adaptation ［J］. Pattern Recognition and Artificial Intelligence， 2021， 34（10）： 924-931. 10.16451/j.cnki.issn1003-6059.202110005
28	YU C， WANG J， CHEN Y， et al. Transfer Learning with Dynamic Adversarial Adaptation Network ［C］// Proceedings of 2019 IEEE International Conference on Data Mining. Piscataway： IEEE， 2019： 778-786. 10.1109/icdm.2019.00088
29	TANGERMANN M， MÜLLER K R， AERTSEN A， et al. Review of the BCI competition IV ［J］. Frontiers in NeuroScience， 2012， 6： No.55. 10.3389/fnins.2012.00055
30	VAN DER MAATEN L， HINTON G. Visualizing data using t-SNE ［J］. Journal of Machine Learning Research， 2008， 9： 2579-2605.

模块	层	卷积核	卷积核步长	卷积核数
特征提取器	时域特征卷积	1×30	［1，1］	30
	空域特征卷积	C×1	［1，1］	30
	均值池化	1×90	［1，15］	—
分类器	全连接层	128	—	—
	全连接层	64	—	—
	全连接层	类别	—	—

模块	层	卷积核	卷积核步长	卷积核数
特征提取器	时域特征卷积	1×30	［1，1］	30
	空域特征卷积	C×1	［1，1］	30
	均值池化	1×90	［1，15］	—
分类器	全连接层	128	—	—
	全连接层	64	—	—
	全连接层	类别	—	—

模块	层	卷积核
全局域鉴别器	全连接层	128
	全连接层	64
	全连接层	32
	全连接层	1
	激活函数sigmoid	—
各类别子域鉴别器	全连接层	128
	全连接层	32
	全连接层	16
	全连接层	1
	激活函数sigmoid	—

模块	层	卷积核
全局域鉴别器	全连接层	128
	全连接层	64
	全连接层	32
	全连接层	1
	激活函数sigmoid	—
各类别子域鉴别器	全连接层	128
	全连接层	32
	全连接层	16
	全连接层	1
	激活函数sigmoid	—

数据集	被试者数	MI类别数	EEG通道数	样本时间点数	源域训练样本数	目标域训练样本数	目标域测试样本数
2A	9	4	22	1 000	4 608	288	288
2B	9	2	3	1 000	5 800	400	320