融合变分图自编码器与局部-全局图网络的认知负荷脑电识别模型

doi:10.11772/j.issn.1001-9081.2024060794

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (6): 1849-1857.DOI: 10.11772/j.issn.1001-9081.2024060794

• 人工智能 • 上一篇

融合变分图自编码器与局部-全局图网络的认知负荷脑电识别模型

周天彤¹^,², 郑妍琪¹^,², 魏韬¹, 戴亚康³, 邹凌²^,⁴()

^1.常州大学计算机与人工智能学院，江苏常州 213159
^2.常州大学常州市生物医学信息技术重点实验室，江苏常州 213159
^3.中国科学院苏州生物医学工程技术研究所，江苏苏州 215163
^4.常州大学微电子与控制工程学院，江苏常州 213164

收稿日期:2024-06-13 修回日期:2024-10-12 接受日期:2024-10-18 发布日期:2024-11-01 出版日期:2025-06-10
通讯作者: 邹凌
作者简介:周天彤（1972—），男，江苏常州人，副教授，硕士，主要研究方向：人机交互
郑妍琪（2000—），女，江苏徐州人，硕士研究生，主要研究方向：信号处理、深度学习
魏韬（1999—），男，江苏徐州人，硕士研究生，主要研究方向：数据挖掘、推荐系统
戴亚康（1982—），男，江苏苏州人，教授，博士，主要研究方向：智能医学影像处理、神经影像处理分析
邹凌（1975—），女，江苏常州人，教授，博士，主要研究方向：信号处理、脑机接口。zouling@cczu.edu.cn
基金资助:
江苏省重点研发计划项目(BE2021012-5)

Cognitive load EEG recognition model integrating variational graph autoencoder and local-global graph network

Tiantong ZHOU¹^,², Yanqi ZHENG¹^,², Tao WEI¹, Yakang DAI³, Ling ZOU²^,⁴()

^1.School of Computer Science and Artificial Intelligence，Changzhou University，Changzhou Jiangsu 213159，China
^2.Changzhou Key Laboratory of Biomedical Information Technology，Changzhou University，Changzhou Jiangsu 213159，China
^3.Suzhou Institute of Biomedical Engineering and Technology，Chinese Academy of Sciences，Suzhou Jiangsu 215163，China
^4.School of Microelectronics and Control Engineering，Changzhou University，Changzhou Jiangsu 213164，China

Received:2024-06-13 Revised:2024-10-12 Accepted:2024-10-18 Online:2024-11-01 Published:2025-06-10
Contact: Ling ZOU
About author:ZHOU Tiantong， born in 1972， M. S.， associate professor. His research interests include human-computer interaction.
ZHENG Yanqi， born in 2000， M. S. candidate. Her research interests include signal processing， deep learning.
WEI Tao， born in 1999， M. S. candidate. His research interests include data mining， recommender system.
DAI Yakang， born in 1982， Ph. D.， professor. His research interests include intelligent medical image processing， neural image processing and analysis.
ZOU Ling， born in 1975， Ph. D.， professor. Her research interests include signal processing， brain-computer interface.
Supported by:
Jiangsu Province Key Research and Development Program(BE2021012-5)

摘要/Abstract

摘要：

针对认知负荷识别模型存在过于依赖手动特征提取、忽视脑电图（EEG）信号的空间信息和无法有效学习图结构数据的问题，提出一种融合变分图自编码器（VGAE）与局部-全局图网络（VLGGNet）的认知负荷EEG识别模型。该模型由时间学习模块和图形学习模块这2个部分组成。首先，使用时间学习模块通过多尺度时间卷积捕捉EEG信号的动态频率表示，并通过空间与通道重建卷积（SCConv）和1 $×$ 1卷积核级联模块融合多尺度卷积提取的特征；其次，使用图形学习模块将EEG数据定义为局部-全局图，其中，局部图特征提取层将节点属性聚合到一个低维向量，全局图特征提取层通过VGAE重构图结构；最后，对全局图和节点特征向量执行轻量化图卷积操作，由全连接层输出预测结果。通过嵌套交叉验证，实验结果表明，在心算任务（MAT）数据集上，相较于次优的局部-全局图网络（LGGNet），VLGGNet的平均准确率（mAcc）和平均F1分数（mF1）分别提升了4.07和3.86个百分点；在同时任务EEG工作量（STEW）数据集上，相较于表现最好的多尺度时空卷积神经网络（TSception），VLGGNet的mAcc与TSception相同，mF1仅降低了0.01个百分点。可见VLGGNet提高了认知负荷分类的性能，也验证了前额叶和额叶区域与认知负荷状态密切相关。

关键词: 认知负荷, 脑电信号, 多尺度时间卷积, 变分图自编码器, 局部-全局图网络

Abstract:

To address the issues in cognitive load recognition models such as excessive reliance on manual feature extraction， ignorance of spatial information in ElectroEncephaloGram （EEG） signals， and inability to learn graph structure data effectively， a cognitive load EEG recognition model with Variational Graph AutoEncoder （VGAE） and Local-Global Graph Network （VLGGNet） was proposed. The model was consisted of two parts： a temporal learning module and a graph learning module. Firstly， the temporal learning module was employed to capture dynamic frequency representation of EEG signals using multi-scale temporal convolution， and features extracted by the multi-scale convolution were fused through Spatial and Channel reconstruction Convolution （SCConv） and 1 $×$ 1 convolutional kernel cascading module. Then， the graph learning module was employed to define the EEG data as a local-global graph， where in the local graph feature extraction layer， the node attributes were aggregated into a low-dimensional vector， and in the global graph feature extraction layer， the graph structure was reconstructed using VGAE. Finally， the lightweight graph convolution operations were performed to the global graph and the node feature vector， and the prediction results were output by the fully connected layer. Through nested cross-validation， experimental results show that VLGGNet has the mean Accuracy （mAcc） and mean F1 score （mF1） improved by 4.07 and 3.86 percentage points， respectively， compared with the sub-optimal Local-Global Graph Network （LGGNet） on Mental Arithmetic Task （MAT） dataset； compared with the best-performing multi-scale Temporal-Spatial convolutional neural network （TSception） on Simultaneous Task EEG Workload （STEW） dataset， the mAcc of VLGGNet is the same as that of TSception， and VLGGNet has the mF1 only reduced by 0.01 percentage points. It can be seen that VLGGNet improves performance of cognitive load classification， and it is verified that prefrontal and frontal regions are closely related to cognitive load status.

Key words: cognitive load, ElectroEncephaloGram (EEG) signal, multi-scale temporal convolution, Variational Graph AutoEncoder (VGAE), Local-Global Graph Network (LGGNet)

中图分类号:

TP391.4

周天彤, 郑妍琪, 魏韬, 戴亚康, 邹凌. 融合变分图自编码器与局部-全局图网络的认知负荷脑电识别模型[J]. 计算机应用, 2025, 45(6): 1849-1857.

Tiantong ZHOU, Yanqi ZHENG, Tao WEI, Yakang DAI, Ling ZOU. Cognitive load EEG recognition model integrating variational graph autoencoder and local-global graph network[J]. Journal of Computer Applications, 2025, 45(6): 1849-1857.

图/表 9

参考文献 50

1	GEVINS A， SMITH M E. Neurophysiological measures of cognitive workload during human-computer interaction ［J］. Theoretical Issues in Ergonomics Science， 2003， 4（1/2）： 113-131.
2	BERNHARDT K A， POLTAVSKI D， PETROS T， et al. The effects of dynamic workload and experience on commercially available EEG cognitive state metrics in a high-fidelity air traffic control environment ［J］. Applied Ergonomics， 2019， 77： 83-91.
3	BADDELEY A. Working memory： the interface between memory and cognition ［J］. Journal of Cognitive Neuroscience， 1992， 4（3）： 281-288.
4	ANTONENKO P， PAAS F， GRABNER R， et al. Using electroencephalography to measure cognitive load［J］. Educational Psychology Review， 2010， 22（4）： 425-438.
5	LIU R， QI S， HAO S， et al. Drivers’ workload electroencephalogram characteristics in cognitive tasks based on improved multiscale sample entropy［J］. IEEE Access， 2023， 11： 42180-42190.
6	BANNERT M. Managing cognitive load — recent trends in cognitive load theory ［J］. Learning and Instruction， 2002， 12（1）： 139-146.
7	HÄMÄLÄINEN M， HARI R， ILMONIEMI R J， et al. Magnetoencephalography — theory， instrumentation， and applications to noninvasive studies of the working human brain［J］. Reviews of Modern Physics， 1993， 65（2）： 413-497.
8	VANDEWALLE G， ARCHER S N， WUILLAUME C， et al. Effects of light on cognitive brain responses depend on circadian phase and sleep homeostasis［J］. Journal of Biological Rhythms， 2011， 26（3）： 249-259.
9	WANG H， XU L， BEZERIANOS A， et al. Linking attention-based multiscale CNN with dynamical GCN for driving fatigue detection［J］. IEEE Transactions on Instrumentation and Measurement， 2021， 70： No.2504811.
10	SCHIRRMEISTER R T， SPRINGENBERG J T， FIEDERER L D J， et al. Deep learning with convolutional neural networks for EEG decoding and visualization［J］. Human Brain Mapping， 2017， 38（11）： 5391-5420.
11	ZHANG K， YE Z， AI Q， et al. GNN4EEG： a benchmark and toolkit for electroencephalography classification with graph neural network［C］// Companion of the 2024 ACM International Joint Conference on Pervasive and Ubiquitous Computing. New York： ACM， 2024： 612-617.
12	CHAO H， CAO Y， LIU Y. Multi-channel EEG emotion recognition through residual graph attention neural network［J］. Frontiers in Neuroscience， 2023， 17： No.1135850.
13	GRAÑA M， MORAIS-QUILEZ I. A review of graph neural networks for electroencephalography data analysis［J］. Neurocomputing， 2023， 562： No.126901.
14	MUELLER T T， STARCK S， FEINER L F， et al. Extended graph assessment metrics for regression and weighted graphs［C］// Proceedings of the 2023 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 14373. Cham： Springer， 2024： 14-26.
15	GENG X， LI Y， WANG L， et al. Spatiotemporal multi-graph convolution network for ride-hailing demand forecasting［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2019： 3656-3663.
16	DING Y， ROBINSON N， TONG C， et al. LGGNet： learning from local-global-graph representations for brain-computer interface［J］. IEEE Transactions on Neural Networks and Learning Systems， 2024， 35（7）： 9773-9786.
17	ZYMA I， TUKAEV S， SELEZNOV I， et al. Electroencephalograms during mental arithmetic task performance［J］. Data， 2019， 4（1）： No.14.
18	LIM W L， SOURINA O， WANG L P. STEW： simultaneous task EEG workload data set ［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2018， 26（11）： 2106-2114.
19	ZHU G， ZONG F， ZHANG H， et al. Cognitive load during multitasking can be accurately assessed based on single channel electroencephalography using graph methods［J］. IEEE Access， 2021， 9： 33102-33109.
20	YEDUKONDALU J， SHARMA L D. Cognitive load detection using circulant singular spectrum analysis and Binary Harris Hawks Optimization based feature selection ［J］. Biomedical Signal Processing and Control， 2023， 79（Pt 1）： No.104006.
21	吴选昆，颜延，贾振华，等. 基于脑电功能连接拓扑表征的心算任务分类［J］. 计算机应用研究， 2022， 39（2）： 356-360.
	WU X K， YAN Y， JIA Z H， et al. Mental arithmetic task classification based on topological representation of EEG-based functional connectivity［J］. Application Research of Computers， 2022， 39（2）： 356-360.
22	GUAN K， ZHANG Z， CHAI X， et al. EEG based dynamic functional connectivity analysis in mental workload tasks with different types of information［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2022， 30： 632-642.
23	GANGULY B， CHATTERJEE A， MEHDI W， et al. EEG based mental arithmetic task classification using a stacked long short term memory network for brain-computer interfacing［C］// Proceedings of the 2020 IEEE International Conference on VLSI Device， Circuit and System. Piscataway： IEEE， 2020： 89-94.
24	MALVIYA L， MAL S. A novel technique for stress detection from EEG signal using hybrid deep learning model［J］. Neural Computing and Applications， 2022， 34（22）： 19819-19830.
25	VARSHNEY A， GHOSH S K， PADHY S， et al. Automated classification of mental arithmetic tasks using recurrent neural network and entropy features obtained from multi-channel EEG signals ［J］. Electronics， 2021， 10（9）： No.1079.
26	JANG S， MOON S E， LEE J S. EEG-based video identification using graph signal modeling and graph convolutional neural network［C］// Proceedings of the 2018 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2018： 3066-3070.
27	SONG T， ZHENG W， LIU S， et al. Graph-embedded convolutional neural network for image-based EEG emotion recognition［J］. IEEE Transactions on Emerging Topics in Computing， 2022， 10（3）： 1399-1413.
28	ZHONG P， WANG D， MIAO C. EEG-based emotion recognition using regularized graph neural networks ［J］. IEEE Transactions on Affective Computing， 2022， 13（3）： 1290-1301.
29	LI Y， ZHENG W， WANG L， et al. From regional to global brain： a novel hierarchical spatial-temporal neural network model for EEG emotion recognition［J］. IEEE Transactions on Affective Computing， 2022， 13（2）： 568-578.
30	DELVIGNE V， WANNOUS H， DUTOIT T， et al. PhyDAA： physiological dataset assessing attention ［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（5）： 2612-2623.
31	GILAKJANI S S， OSMAN H AL. A graph neural network for EEG-based emotion recognition with contrastive learning and generative adversarial neural network data augmentation ［J］. IEEE Access， 2024， 12：113-130.
32	LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG-based brain-computer interfaces［J］. Journal of Neural Engineering， 2018， 15（5）： No.056013.
33	CHEN C S， CHIEN T S， LEE P L， et al. Prefrontal brain electrical activity and cognitive load analysis using a non-linear and non-stationary approach ［J］. IEEE Access， 2020， 8： 211115-211124.
34	DING Y， ROBINSON N， ZENG Q， et al. TSception： a deep learning framework for emotion detection using EEG［C］// Proceedings of the 2020 International Joint Conference on Neural Networks. Piscataway： IEEE， 2020： 1-7.
35	IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 448-456.
36	LI J， WEN Y， HE L. SCConv： spatial and channel reconstruction convolution for feature redundancy［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 6153-6162.
37	WU Y， HE K. Group normalization［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11217. Cham： Springer， 2018： 3-19.
38	POWER J D， COHEN A L， NELSON S M， et al. Functional network organization of the human brain［J］. Neuron， 2011， 72（4）： 665-678.
39	FRIEDERICI A D， CHOMSKY N， BERWICK R C， et al. Language， mind and brain ［J］. Nature Human Behaviour， 2017， 1（10）： 713-722.
40	KOBER H， BARRETT L F， JOSEPH J， et al. Functional grouping and cortical-subcortical interactions in emotion： a meta-analysis of neuroimaging studies ［J］. NeuroImage， 2008， 42（2）： 998-1031.
41	ALARCÃO S M， FONSECA M J. Emotions recognition using EEG signals： a survey ［J］. IEEE Transactions on Affective Computing， 2019， 10（3）： 374-393.
42	SALVADOR R， SUCKLING J， COLEMAN M R， et al. Neurophysiological architecture of functional magnetic resonance images of human brain［J］. Cerebral Cortex， 2005， 15（9）： 1332-1342.
43	KIPF T N， WELLING M. Variational graph auto-encoders［EB/OL］. ［2024-11-21］..
44	JIANG Y， HUANG C， HUANG L. Adaptive graph contrastive learning for recommendation［C］// Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM， 2023： 4252-4261.
45	LI H， CHEN H， JIA Z， et al. A parallel multi-scale time-frequency block convolutional neural network based on channel attention module for motor imagery classification［J］. Biomedical Signal Processing and Control， 2023， 79（Pt 1）： No.104066.
46	VARMA S， SIMON R. Bias in error estimation when using cross-validation for model selection ［J］. BMC Bioinformatics， 2006， 7： No.91.
47	KOELSTRA S， MUHL C， SOLEYMANI M， et al. DEAP： a database for emotion analysis； using physiological signals［J］. IEEE Transactions on Affective Computing， 2012， 3（1）： 18-31.
48	SIMONYAN K， VEDALDI A， ZISSERMAN A. Deep inside convolutional networks： visualising image classification models and saliency maps ［EB/OL］. ［2024-12-20］..
49	ABADI H E， MORIDANI M K， MIRZAKHANI M. Mental arithmetic task detection using geometric features extraction of EEG signal based on machine learning［J］. Bratislava Medical Journal， 2022， 123（6）： 408-421.
50	TOMASI D， GOLDSTEIN R Z， TELANG F， et al. Widespread disruption in brain activation patterns to a working memory task during cocaine abstinence［J］. Brain Research， 2007， 1171： 83-92.

模型	MAT数据集		STEW 数据集
模型	mAcc	mF1	mAcc	mF1
DeepConvNet	50.79^***	48.03^***	92.85^***	92.20^***
R2G-STNN	59.81^***	61.29^***	95.68^***	95.68^***
EEGNet	58.15^***	57.37^***	96.76^***	96.69^***
MTFB_CNN	68.06^***	72.11^***	93.67^***	94.12^***
ShallowConvNet	86.94^***	87.64^***	96.43^***	96.44^***
TSception	93.10^***	92.50^***	98.76	98.78
LGGNet	93.24^***	93.45^***	98.28^**	98.27^**
VLGGNet	97.31	97.31	98.76	98.77

模型	MAT数据集		STEW 数据集
模型	mAcc	mF1	mAcc	mF1
DeepConvNet	50.79^***	48.03^***	92.85^***	92.20^***
R2G-STNN	59.81^***	61.29^***	95.68^***	95.68^***
EEGNet	58.15^***	57.37^***	96.76^***	96.69^***
MTFB_CNN	68.06^***	72.11^***	93.67^***	94.12^***
ShallowConvNet	86.94^***	87.64^***	96.43^***	96.44^***
TSception	93.10^***	92.50^***	98.76	98.78
LGGNet	93.24^***	93.45^***	98.28^**	98.27^**
VLGGNet	97.31	97.31	98.76	98.77

多尺度时间卷积	特征融合模块	全局特征提取	MAT数据集		STEW 数据集
多尺度时间卷积	特征融合模块	全局特征提取	mAcc	mF1	mAcc	mF1
	√	√	96.02	96.07	97.38	97.43
√		√	97.13	97.16	98.25	98.24
√	√		81.34	82.25	96.94	96.91
√	√	√	97.31	97.31	98.76	98.77

多尺度时间卷积	特征融合模块	全局特征提取	MAT数据集		STEW 数据集
多尺度时间卷积	特征融合模块	全局特征提取	mAcc	mF1	mAcc	mF1
	√	√	96.02	96.07	97.38	97.43
√		√	97.13	97.16	98.25	98.24
√	√		81.34	82.25	96.94	96.91
√	√	√	97.31	97.31	98.76	98.77

不同尺度系数组合	MAT数据集		STEW 数据集
不同尺度系数组合	mAcc	mF1	mAcc	mF1
［0.125，0.250，0.375］	94.12	94.27	98.21	98.36
［0.250，0.375，0.500］	91.16	91.63	98.01	98.06
［0.375，0.500，0.625］	96.57	96.40	98.43	98.43
［0.500，0.625，0.750］	92.08	92.22	98.47	98.48
［0.250，0.500，0.750］	96.90	96.99	98.61	98.61
［0.500，0.750，1.000］	95.32	95.23	98.18	98.26
［0.125，0.250，0.500］	97.31	97.31	98.76	98.77

融合变分图自编码器与局部-全局图网络的认知负荷脑电识别模型

Cognitive load EEG recognition model integrating variational graph autoencoder and local-global graph network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 50

相关文章 14

编辑推荐

Metrics

图构建方法	MAT数据集		STEW数据集
图构建方法	mAcc	mF1	mAcc	mF1
VGAE	97.31	97.31	98.76	98.77
计算相似性	96.80	96.72	98.53	98.54

[1]	晁浩, 封舒琪, 刘永利. 脑电情感识别中多上下文向量优化的卷积递归神经网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2041-2046.
[2]	时旺军, 王晶, 宁晓军, 林友芳. 小样本场景下的元迁移学习睡眠分期模型[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1445-1451.
[3]	曹铉, 罗天健. 运动想象脑电信号的跨被试动态多域对抗学习方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 645-653.
[4]	杨思琪, 罗天健, 严宣辉, 杨光局. 运动想象脑电图的空域特征迁移核学习方法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3354-3363.
[5]	杨淑莹, 国海铭, 李欣. 基于通道选择和多维特征融合的脑电信号分类[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3418-3427.
[6]	张军鹏, 施玉杰, 蒋睿, 董静静, 邱昌建. 基于脑电信号的认知功能障碍识别与分类进展综述[J]. 《计算机应用》唯一官方网站, 2023, 43(10): 3297-3308.
[7]	秦静, 孙法莉, HUI Fang, 汪祖民, 高兵, 季长清. 可穿戴脑电图设备关键技术及其应用综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1029-1035.
[8]	彭禹, 宋耀莲, 杨俊. 基于数据增强的运动想象脑电分类[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3625-3632.
[9]	霍首君, 郝琰, 石慧宇, 董艳清, 曹锐. 基于深度卷积网络的运动想象脑电信号模式识别[J]. 计算机应用, 2021, 41(4): 1042-1048.
[10]	罗飞, 刘鹏飞, 罗元, 朱思蒙. 多特征融合的运动想象脑电特征提取方法[J]. 《计算机应用》唯一官方网站, 2020, 40(2): 616-620.
[11]	王超, 朱明, 王敏. 基于管制员认知负荷和改进蚁群算法的扇区动态通行能力评估[J]. 计算机应用, 2018, 38(1): 277-283.
[12]	王若凡, 刘静, 王江, 于海涛, 曹亦宾. 基于功率谱及有限穿越可视图的癫痫脑电信号分析算法[J]. 计算机应用, 2017, 37(1): 175-182.
[13]	韩敏, 孙卓然. 基于小波变换和AdaBoost极限学习机的癫痫脑电信号分类[J]. 计算机应用, 2015, 35(9): 2701-2705.
[14]	艾玲梅李营. HHT方法在不同思维作业脑电信号分析中的应用[J]. 计算机应用, 2008, 28(12): 3089-3091.