脑电信号情绪识别综述

doi:10.11772/j.issn.1001-9081.2022091341

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (S1): 323-332.DOI: 10.11772/j.issn.1001-9081.2022091341

• 前沿与综合应用 • 上一篇

脑电信号情绪识别综述

陈旭东¹^,², 钟恒¹^,², 皇甫洁², 吕高冲², 王成², 王德良²(), 童凯¹

^1.四川轻化工大学生物工程学院，四川宜宾 644005
^2.中国食品发酵工业研究院，北京 100015

收稿日期:2022-09-19 修回日期:2023-02-25 接受日期:2022-03-02 发布日期:2023-07-04 出版日期:2023-06-30
通讯作者: 王德良
作者简介:陈旭东（1998—），男，四川内江人，硕士研究生，主要研究方向：智能信息处理
钟恒（1998—），男，四川德阳人，硕士研究生，主要研究方向：智能感官技术
皇甫洁（1985—），女，内蒙古呼和浩特人，高级工程师，博士，主要研究方向：生物化学
吕高冲（1994—），男，山东滕州人，硕士，主要研究方向：生物医学信号处理
王成（1986—），男，山东高密人，高级工程师，博士，主要研究方向：生物化学
王德良（1972—），男，湖南益阳人，教授，博士，主要研究方向：酒类研发。wdlpost@163.com
童凯（1987—），男，四川成都人，博士研究生，主要研究方向：农产品贮藏保鲜。
基金资助:
国家重点研发计划项目(2021YFD1000305)

Review of emotion recognition of EEG signals

Xudong CHEN¹^,², Heng ZHONG¹^,², Jie HUANGFU², Gaochong LYU², Cheng WANG², Deliang WANG²(), Kai TONG¹

^1.School of Biological Engineering，Sichuan University of Science & Engineering，Yibin Sichuan 644005，China
^2.China National Research Institute of Food and Fermentation Industries，Beijing 100015，China

Received:2022-09-19 Revised:2023-02-25 Accepted:2022-03-02 Online:2023-07-04 Published:2023-06-30
Contact: Deliang WANG

摘要/Abstract

摘要：

情绪识别在医疗领域和人机互动中越来越重要。当人们的情绪在外部刺激下发生变化时，人体的各种生理信号就会产生波动。脑电图（EEG）与大脑活动密切相关，因此可以通过EEG信号判断受试者的情绪变化。首先，从特点和采集、预处理、公开数据集等方面介绍了脑电情绪识别的相关理论；然后，从时域、频域和时频域特征介绍了EEG信号的特征提取；随后，对EEG信号情绪分类识别的效果进行评估；最后，总结了EEG信号情绪识别的相关工作并对未来工作进行了展望。

关键词: 脑电图, 情绪识别, 特征提取, 分类识别, 深度学习

Abstract:

Emotion recognition has become more and more important in the medical field and human-computer interaction. When a person’s emotion changes in response to external stimuli， various physiological signals in the body will fluctuate. ElectroEncephaloGram （EEG） is closely related to brain activity， so the emotional changes of subjects can be judged by EEG signals. Firstly， the related theories of EEG emotion recognition were introduced from the aspects of characteristics， collection， preprocessing and public datasets. Secondly， the feature extraction of EEG signals was introduced from time domain， frequency domain and time-frequency domain features. Then， the effect of EEG signal emotion classification and recognition was evaluated. Finally， the related work of EEG signal emotion recognition was summarized and the future work was prospected.

Key words: ElectroEncephaloGram (EEG), emotion recognition, feature extraction, classification recognition, deep learning

中图分类号:

TP391.7

陈旭东, 钟恒, 皇甫洁, 吕高冲, 王成, 王德良, 童凯. 脑电信号情绪识别综述[J]. 计算机应用, 2023, 43(S1): 323-332.

Xudong CHEN, Heng ZHONG, Jie HUANGFU, Gaochong LYU, Cheng WANG, Deliang WANG, Kai TONG. Review of emotion recognition of EEG signals[J]. Journal of Computer Applications, 2023, 43(S1): 323-332.

图/表 5

参考文献 92

1	RAMIREZ P M， DESANTIS D， OPLER L A. EEG biofeedback treatment of ADD： a viable alternative to traditional medical intervention？［J］. Annals of the New York Academy of Sciences， 2001， 931（1）： 342-358.
2	HU X， CHEN J， WANG F， et al. Ten challenges for EEG-based affective computing［J］. Brain Science Advances， 2019， 5（1）： 1-20. 10.26599/bsa.2019.9050005
3	FÜRBASS F， KURAL M A， GRITSCH G， et al. An artificial intelligence-based EEG algorithm for detection of epileptiform EEG discharges： Validation against the diagnostic gold standard［J］. Clinical Neurophysiology， 2020， 131（6）： 1174-1179. 10.1016/j.clinph.2020.02.032
4	HEALEY J A， PICARD R W. Detecting stress during real-world driving tasks using physiological sensors［J］. IEEE Transactions on Intelligent Transportation Systems， 2005（6）：156-166. 10.1109/tits.2005.848368
5	MORENCY L P， WHITEHILL J， MOVELLAN J. Generalized adaptive view-based appearance model： Integrated framework for monocular head pose estimation ［C］// Proceedings of the 8th IEEE International Conference on Automatic Face & Gesture Recognition. Piscataway： IEEE， 2008： 1-8. 10.1109/afgr.2008.4813429
6	SHU L， XIE J， YANG M， et al. A review of emotion recognition using physiological signals［J］. Sensors， 2018， 18（7）： No.2074. 10.3390/s18072074
7	CRAIK A， HE Y， CONTRERAS-VIDAL J L. Deep learning for electroencephalogram （EEG） classification tasks： a review［J］. Journal of Neural Engineering， 2019， 16（3）： No.031001. 10.1088/1741-2552/ab0ab5
8	KWON Y H， SHIN S B， KIM S D. Electroencephalography based fusion two-dimensional （2D）-convolution neural networks （CNN） model for emotion recognition system［J］. Sensors， 2018， 18（5）： No.1383. 10.3390/s18051383
9	MAHESHWARI D， GHOSH S K， TRIPATHY R K， et al. Automated accurate emotion recognition system using rhythm-specific deep convolutional neural network technique with multi-channel EEG signals［J］. Computers in Biology and Medicine， 2021， 134： No.104428. 10.1016/j.compbiomed.2021.104428
10	KEELAWAT P， THAMMASAN N， NUMAO M， et al. A comparative study of window size and channel arrangement on EEG-emotion recognition using deep CNN［J］. Sensors， 2021， 21（5）： No.1678. 10.3390/s21051678
11	LI Z， TIAN X， SHU L， et al. Emotion recognition from EEG using RASM and LSTM ［C］// Proceedings of the 2017 International Conference on Internet Multimedia Computing and Service. Cham： Springer， 2017： 310-318. 10.1007/978-981-10-8530-7_30
12	LIU J， SU Y， LIU Y. Multi-modal emotion recognition with temporal-band attention based on LSTM-RNN［C］// Proceedings of the 18th Advances in Multimedia Information Processing—Pacific-Rim Conference on Multimedia. Cham： Springer， 2018： 194-204. 10.1007/978-3-319-77380-3_19
13	SHARMA R， PACHORI R B， SIRCAR P. Automated emotion recognition based on higher order statistics and deep learning algorithm［J］. Biomedical Signal Processing and Control， 2020， 58： No.101867. 10.1016/j.bspc.2020.101867
14	LUO Y， LU B. EEG data augmentation for emotion recognition using a conditional Wasserstein GAN［C］// Proceedings of the 40th Annual International Conference of the IEEE Engineering in Medicine & Biology Society. Piscataway： IEEE，2018：2535-2538. 10.1109/embc.2018.8512865
15	拉杰什 P N 拉奥. 脑机接口导论［M］. 张莉，陈民铀，译. 北京：机械工业出版社， 2016： 5-6.
16	HAMMOND CORYDON D. What is neurofeedback： an update［J］. Journal of Neurotherapy， 2011， 15（4）：305-336. 10.1080/10874208.2011.623090
17	魏景汉，罗跃嘉. 事件相关电位原理与技术［M］. 北京：科学出版社， 2010：1-2.
18	齐建林，董燕，苗丹民，等. 恢复性睡眠对43h完全睡眠剥夺后任务管理功能影响［J］. 中国民族民间医药， 2009， 18（12）：21-22. 10.3969/j.issn.1007-8517.2009.12.012
19	王忠民，赵玉鹏，郑镕林等.脑电信号情绪识别研究综述［J］.计算机科学与探索，2022，16（4）：760-774. 10.3778/j.issn.1673-9418.2107006
20	KLEM G H， LÜDERS H O， JASPER H H， et al. The ten-twenty electrode system of the International Federation. The International Federation of Clinical Neurophysiology［J］. Electroencephalography and Clinical Neurophysiology， 1999， 52： 3-6.
21	罗新勇. 基于流形学习的脑电特征提取方法及应用［D］. 北京：北京工业大学， 2016： 5-6.
22	PEDRONI A， BAHREINI A， LANGER N. Automagic： Standardized preprocessing of big EEG data［J］. NeuroImage， 2019， 200： 460-473. 10.1016/j.neuroimage.2019.06.046
23	DELORME A， MAKEIG S. EEGLAB： an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis［J］. Journal of Neuroscience Methods， 2004， 134（1）： 9-21. 10.1016/j.jneumeth.2003.10.009
24	KOELSTRA S， MUHL C， SOLEYMANI M， et al. DEAP： a data base for emotion analysis using physiological signals［J］. IEEE Transactions on Affective Computing， 2011， 3（1）：18-31. 10.1109/t-affc.2011.15
25	SAVRAN A， CIFTCI K， CHANEL G， et al. Emotion detection in the loop from brain signals and facial images ［EB/OL］. ［2022-06-13］. .
26	Swartz Center for Computational Neuroscience. HeadIT ： Human Electrophysiology， Anatomic Data and Integrated Tools Resource ［EB/OL］. ［2022-07-12］. .
27	ZHENG W， LU B. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks［J］. IEEE Transactions on Autonomous Mental Development， 2015， 7（3）：162-175. 10.1109/tamd.2015.2431497
28	ZHENG W， LIU W， LU Y， et al. EmotionMeter： a multimodal frame work for recognizing human emotions［J］. IEEE Transactions on Cybernetics， 2019， 49（3）：1110-1122. 10.1109/tcyb.2018.2797176
29	SOLEYMANI M， LICHTENAUER J， PUN T， et al. A multimodal database for affect recognition and implicit tagging［J］. IEEE Transactions on Affective Computing， 2011， 3（1）： 42-55. 10.1109/t-affc.2011.25
30	SONG T， ZHENG W， LU C， et al. MPED： A multi-modal physiological emotion database for discrete emotion recognition［J］. IEEE Access， 2019， 7： 12177-12191. 10.1109/access.2019.2891579
31	KATSIGIANNIS S， RAMZAN N. DREAMER： a database for emotion recognition through EEG and ECG signals from wireless lowcost off-the-shelf devices［J］. IEEE Journal of Biomedical and Health Informatics， 2018， 22（1）：98-107. 10.1109/jbhi.2017.2688239
32	PANE E S， WIBAWA A D， PURNOMO M H. Improving the accuracy of EEG emotion recognition by combining valence lateralization and ensemble learning with tuning parameters［J］. Cognitive Processing， 2019， 20： 405-417. 10.1007/s10339-019-00924-z
33	CHENG J， CHEN M， LI C， et al. Emotion recognition from multi-channel eeg via deep forest［J］. IEEE Journal of Biomedical and Health Informatics， 2020， 25（2）： 453-464. 10.1109/jbhi.2020.2995767
34	YIN Y， ZHENG X， HU B， et al. EEG emotion recognition using fusion model of graph convolutional neural networks and LSTM［J］. Applied Soft Computing， 2021， 100： No.106954. 10.1016/j.asoc.2020.106954
35	HUANG D， CHEN S， LIU C， et al. Differences first in asymmetric brain： A bi-hemisphere discrepancy convolutional neural network for EEG emotion recognition［J］. Neurocomputing， 2021， 448： 140-151. 10.1016/j.neucom.2021.03.105
36	MOKATREN L S， ANSARI R， CETIN A E， et al. EEG classification by factoring in sensor spatial configuration［J］. IEEE Access， 2021， 9： 19053-19065. 10.1109/access.2021.3054670
37	MOON S E， CHEN C J， HSIEH C J， et al. Emotional EEG classification using connectivity features and convolutional neural networks［J］. Neural Networks， 2020， 132： 96-107. 10.1016/j.neunet.2020.08.009
38	LIU J， WU G， LUO Y， et al. EEG-based emotion classification using a deep neural network and sparse autoencoder［J］. Frontiers in Systems Neuroscience， 2020， 14： No.43. 10.3389/fnsys.2020.00043
39	CHEN J， JIANG D， ZHANG Y， et al. Emotion recognition from spatiotemporal EEG representations with hybrid convolutional recurrent neural networks via wearable multi-channel headset［J］. Composites Communications， 154， 58-65. 10.1016/j.comcom.2020.02.051
40	YIN Z， LIU L， CHEN J， et al. Locally robust EEG feature selection for individual-independent emotion recognition［J］. Expert Systems with Applications， 2020， 162： No.113768. 10.1016/j.eswa.2020.113768
41	ZHONG M， YANG Q， LIU Y， et al. EEG emotion recognition based on TQWT-features and hybrid convolutional recurrent neural network［J］. Biomedical Signal Processing and Control， 2023， 79： No.104211. 10.1016/j.bspc.2022.104211
42	SUBASI A， TUNCER T， DOGAN S， et al. EEG-based emotion recognition using tunable Q wavelet transform and rotation forest ensemble classifier［J］. Biomedical Signal Processing and Control， 2021， 68： No.102648. 10.1016/j.bspc.2021.102648
43	WEI C， CHEN L， SONG Z， et al. EEG-based emotion recognition using simple recurrent units network and ensemble learning［J］. Biomedical Signal Processing and Control， 2020， 58： 101756. 10.1016/j.bspc.2019.101756
44	TOPIC A， RUSSO M. Emotion recognition based on EEG feature maps through deep learning network［J］. Engineering Science and Technology， an International Journal， 2021， 24（6）： 1442-1454. 10.1016/j.jestch.2021.03.012
45	WANG Z， TONG Y， HENG X. Phase-locking value based graph convolutional neural networks for emotion recognition［J］. IEEE Access， 2019， 7： 93711-93722. 10.1109/access.2019.2927768
46	LI Y， FU B， LI F， et al. A novel transferability attention neural network model for EEG emotion recognition［J］. Neurocomputing， 2021， 447： 92-101. 10.1016/j.neucom.2021.02.048
47	WANG F， WU S， ZHANG W， et al. Emotion recognition with convolutional neural network and EEG-based EFDMs［J］. Neuropsychologia， 2020， 146： No.107506. 10.1016/j.neuropsychologia.2020.107506
48	ASGHAR M A， KHAN M J， RIZWAN M， et al. AI inspired EEG-based spatial feature selection method using multivariate empirical mode decomposition for emotion classification［J］. Multimedia Systems， 2022， 28（4）： 1275-1288. 10.1007/s00530-021-00782-w
49	LU Y， WANG M， WU W， et al. Dynamic entropy-based pattern learning to identify emotions from EEG signals across individuals［J］. Measurement， 2020， 150： No.107003. 10.1016/j.measurement.2019.107003
50	RAHMAN M A， HOSSAIN M F， HOSSAIN M， et al. Employing PCA and t-statistical approach for feature extraction and classification of emotion from multichannel EEG signal［J］. Egyptian Informatics Journal， 2020， 21（1）： 23-35. 10.1016/j.eij.2019.10.002
51	RIEDL M， MÜLLER A， WESSEL N. Practical considerations of permutation entropy： A tutorial review［J］. The European Physical Journal Special Topics， 2013， 222（2）： 249-262. 10.1140/epjst/e2013-01862-7
52	NAMAZI H， AGHASIAN E， ALA T S. Complexity-based classification of EEG signal in normal subjects and patients with epilepsy［J］. Technology and Health Care， 2020， 28（1）：57-66. 10.3233/thc-181579
53	周广东，丁幼亮，李爱群，等.基于小波变换的非平稳脉动风时变功率谱估计方法研究［J］.工程力学，2013，30（3）：89-97.
54	YI X， QU A H. Matlab simulation analysis of power spectrum estimation based on Welch method［J］. Modern Electronics Technique， 2010， 33： 7-9.
55	O’TOOLE J. Discrete quadratic time-frequency distributions： definition， computation， and a newborn electroencephalogram application ［EB/OL］. ［2022-04-03］. . 10.1109/tsp.2009.2031287
56	ALAZRAI R， HOMOUD R， ALWANNI H， et al. EEG-based emotion recognition using quadratic time-frequency distribution［J］. Sensors， 2018， 18（8）： 2739. 10.3390/s18082739
57	KOENIG W， DUNN H K， LACY L Y. The sound spectrograph［J］. The Journal of the Acoustical Society of America， 1946， 18（1）： 19-49. 10.1121/1.1916342
58	GAO Q， WANG C， WANG Z， et al. EEG based emotion recognition using fusion feature extraction method［J］. Multimedia Tools and Applications， 2020， 79： 27057-27074. 10.1007/s11042-020-09354-y
59	ROSSO O A， BLANCO S， YORDANOVA J， et al. Wavelet entropy： a new tool for analysis of short duration brain electrical signals［J］. Journal of Neuroscience Methods， 2001， 105（1）： 65-75. 10.1016/s0165-0270(00)00356-3
60	BASTOS-FILHO T F， FERREIRA A， ATENCIO A C， et al. Evaluation of feature extraction techniques in emotional state recognition［C］// Proceedings of the 4th International Conference on Intelligent Human Computer Interaction. Piscataway： IEEE， 2012： 1-6. 10.1109/ihci.2012.6481860
61	LI M， XU H， LIU X， et al. Emotion recognition from multichannel EEG signals using K-nearest neighbor classification［J］. Technology and Health Care， 2018， 26（S1）： 509-519. 10.3233/thc-174836
62	HATAMIKIA S， MAGHOOLI K， NASRABADI A M. The emotion recognition system based on autoregressive model and sequential forward feature selection of electroencephalogram signals［J］. Journal of Medical Signals and Sensors， 2014， 4（3）： No.194. 10.4103/2228-7477.137777
63	GUO K， YU H， CHAI R， et al. A hybrid physiological approach of emotional reaction detection using combined FCM and SVM classifier ［C］// Proceedings of the 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2019： 7088-7091. 10.1109/embc.2019.8857698
64	ATKINSON J， CAMPOS D. Improving BCI-based emotion recognition by combining EEG feature selection and kernel classifiers［J］. Expert Systems with Applications， 2016， 47： 35-41. 10.1016/j.eswa.2015.10.049
65	ALSOLAMY M， FATTOUH A. Emotion estimation from EEG signals during listening to Quran using PSD features［C］// Proceedings of the 7th International Conference on Computer Science and Information Technology. Piscataway： IEEE， 2016： 1-5. 10.1109/csit.2016.7549457
66	WANG X， NIE D， LU B L. Emotional state classification from EEG data using machine learning approach［J］， Neurocomputing， 2014， 129： 94-106. 10.1016/j.neucom.2013.06.046
67	JALILIFARD A， PIZZOLATO E B， ISLAM M K， Emotion classification using single-channel scalp-EEG recording ［C］// Proceedings of the 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2016： 845-849. 10.1109/embc.2016.7590833
68	LIU Y， WU C， KAO Y， et al. Single-trial EEG-based emotion recognition using kernel Eigen-emotion pattern and adaptive support vector machine ［C］// Proceedings of the 35th Annual International Conference of the IEEE Engineeringin Medicine and Biology Society. Piscataway： IEEE， 2013： 4306-4309. 10.1109/embc.2013.6610498
69	SHAHABI H， MOGHIMI S. Toward automatic detection of brain responses to emotional music through analysis of EEG effective connectivity［J］. Computers in Human Behavior， 2016， 58： 231-239. 10.1016/j.chb.2016.01.005
70	HUANG D， GUAN C， ANG K K， et al. Asymmetric spatial pattern for EEG-based emotion detection［C］// Proceedings of the 2012 International Joint Conference on Neural Networks. Piscataway： IEEE， 2012： 1-7. 10.1109/ijcnn.2012.6252390
71	BHATTI A M， MAJID M， ANWAR S M， et al. Human emotion recognition and analysis in response to audio music using brain signals［J］. Computers in Human Behavior， 2016， 65： 267-275. 10.1016/j.chb.2016.08.029
72	ZHENG W L， ZHU J Y， LU B L. Identifying stable patterns over time for emotion recognition from EEG［J］. IEEE Transactions on Affective Computing， 2019， 10（3）： 417-429. 10.1109/taffc.2017.2712143
73	ZHENG W L， SANTANA R， LU B L. Comparison of classification methods for EEG-based emotion recognition［C］// Proceedings of the 2015 World Congress on Medical Physics and Biomedical Engineering. Cham： Springer， 2015： 1184-1187. 10.1007/978-3-319-19387-8_287
74	LIU N， FANG Y， LI L， et al. Multiple feature fusion for automatic emotion recognition using EEG signals ［C］// Proceedings of the 2018 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2018： 896-900. 10.1109/icassp.2018.8462518
75	MASOOD N， FAROOQ H. Investigating EEG patterns for dual-stimuli induced human fear emotional state［J］. Sensors， 2019， 19（3）： No.522. 10.3390/s19030522
76	HADJIDIMITRIOU S K， HADJILEONTIADIS L J. Toward an EEG-based recognition of music liking using time-frequency analysis［J］. IEEE Transactions on Biomedical Engineering， 2012， 59（12）： 3498-3510. 10.1109/tbme.2012.2217495
77	ACKERMANN P， KOHLSCHEIN C， BITSCH J A， et al. EEG-based automatic emotion recognition： feature extraction， selection and classification methods ［C］// Proceedings of the 18th International Conference on E-Health Networking， Applications and Services. Piscataway： IEEE， 2016： 1-6. 10.1109/healthcom.2016.7749447
78	BHATTACHARYYA A， TRIPATHY R K， GARG L， et al. A novel multivariate-multiscale approach for computing EEG spectral and temporal complexity for human emotion recognition［J］. IEEE Sensors Journal， 2020， 21（3）： 3579-3591. 10.1109/jsen.2020.3027181
79	QING C， QIAO R， XU X， et al. Interpretable emotion recognition using EEG signals［J］. IEEE Access， 2019， 7： 94160-94170. 10.1109/access.2019.2928691
80	GONZALEZ H A， YOO J， ELFADEL I M. EEG-based emotion detection using unsupervised transfer learning ［C］// Proceedings of the 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2019： 694-697. 10.1109/embc.2019.8857248
81	WANG Y， QIU S， ZHAO C， et al. EEG-based emotion recognition with prototype-based data representation ［C］// Proceedings of the 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2019： 684-689. 10.1109/embc.2019.8857340
82	SOHAIB A T， QURESHI S， HAGELBÄCK J， et al. Evaluating classifiers for emotion recognition using EEG ［C］// Proceedings of the 2013 Foundations of Augmented Cognition. Cham： Springer， 2013： 492-501. 10.1007/978-3-642-39454-6_53
83	MERT A， AKAN A. Emotion recognition based on time-frequency distribution of EEG signals using multivariate synchrosqueezing transform［J］. Digital Signal Processing， 2018， 81： 106-115. 10.1016/j.dsp.2018.07.003
84	CHAO H， DONG L， LIU Y， et al. Emotion recognition from multiband EEG signals using CapsNet［J］. Sensors， 2019， 19（9）： No.2212. 10.3390/s19092212
85	NAKISA B， RASTGOO M N， RAKOTONIRAINY A， et al. Automatic emotion recognition using temporal multimodal deep learning［J］. IEEE Access， 2020， 8： 225463-225474. 10.1109/access.2020.3027026
86	TAO W， LI C， SONG R， et al. EEG-based emotion recognition via channel-wise attention and self attention［J］. IEEE Transactions on Affective Computing， 2023， 14（1）： 382-393. 10.1109/taffc.2020.3025777
87	CUI H， LIU A， ZHANG X， et al. EEG-based emotion recognition using an end-to-end regional-asymmetric convolutional neural network［J］. Knowledge-Based Systems， 2020， 205： No.106243. 10.1016/j.knosys.2020.106243
88	LUO Y， FU Q， XIE J， et al. EEG-based emotion classification using spiking neural networks［J］. IEEE Access， 2020，8： 46007-46016. 10.1109/access.2020.2978163
89	ZHANG Y， CHENG C， ZHANG Y， Multimodal emotion recognition using a hierarchical fusion convolutional neural network［J］. IEEE Access， 2021， 9： 7943-7951. 10.1109/access.2021.3049516
90	SINGH U， SHAW R， PATRA B K. A data augmentation and channel selection technique for grading human emotions on DEAP dataset［J］. Biomedical Signal Processing and Control， 2023， 79： No.104060. 10.1016/j.bspc.2022.104060
91	TARAN S， BAJAJ V. Emotion recognition from single-channel EEG signals using a two-stage correlation and instantaneous frequency-based filtering method［J］. Computer Methods and Programs in Biomedicine， 2019， 173： 157-165. 10.1016/j.cmpb.2019.03.015
92	KHARE S K， BAJAJ V. An evolutionary optimized variational mode decomposition for emotion recognition［J］. IEEE Sensors Journal， 2020， 21（2）： 2035-2042. 10.1109/jsen.2020.3020915

部位	名称	代号
前额	Frontal Pole	F_p1、F_p2
额	Frontal	F₃、F₄、F_z
中央	Central	C₃、C₄、C_z
顶	Parietal	P₃、P₄、P_z
枕	Occipital	O₁、O₂
侧额	Inferior Frontal	F₇、F₈
颞	Temporal	T₃、T₄
后颞	Posterior Temporal	T₅、T₆
耳	Auricular	A₁、A₂

部位	名称	代号
前额	Frontal Pole	F_p1、F_p2
额	Frontal	F₃、F₄、F_z
中央	Central	C₃、C₄、C_z
顶	Parietal	P₃、P₄、P_z
枕	Occipital	O₁、O₂
侧额	Inferior Frontal	F₇、F₈
颞	Temporal	T₃、T₄
后颞	Posterior Temporal	T₅、T₆
耳	Auricular	A₁、A₂

数据集	采集通道数	情绪诱发方式	样本个数	情绪状态
DEAP	32	音乐视频	32	效价、唤醒度、优势度、喜欢度
eNTERFACE’06	16	从国际情感图像系统中选取	42	快乐、悲伤、惊讶、愤怒、厌恶和恐惧
HeadIT	—	回忆情绪	—	正、负
SEED	62	电影片段	15	中立、积极和消极
SEED-Ⅳ	62	电影片段	15	高兴、悲伤、恐惧、中性
Mahnob-HCItagging	32	电影和图片的片段	30	自我评估模型评估效价和唤醒度
MPED	32	视频	23	快乐、有趣、厌恶、愤怒、恐惧、悲伤和中立
DREAMER	14	电影片段	23	自我评估激发情感激发

数据集	采集通道数	情绪诱发方式	样本个数	情绪状态
DEAP	32	音乐视频	32	效价、唤醒度、优势度、喜欢度
eNTERFACE’06	16	从国际情感图像系统中选取	42	快乐、悲伤、惊讶、愤怒、厌恶和恐惧
HeadIT	—	回忆情绪	—	正、负
SEED	62	电影片段	15	中立、积极和消极
SEED-Ⅳ	62	电影片段	15	高兴、悲伤、恐惧、中性
Mahnob-HCItagging	32	电影和图片的片段	30	自我评估模型评估效价和唤醒度
MPED	32	视频	23	快乐、有趣、厌恶、愤怒、恐惧、悲伤和中立
DREAMER	14	电影片段	23	自我评估激发情感激发

样本	人数	通道数	分类方法	情绪维度	准确率
DEAP^［90］	32	32	DCCA-GWO	效价、唤醒度	效价：89.78%；唤醒度：78.5%
SEED^［78］	15	62	ARF	中立、积极、消极	积极：96.3%；消极：94.8%；中立：91.9%
DREAMER^［87］	23	14	RACNN	效价、唤醒度	效价：95.55%；唤醒度：97.01%
音频^［91］	20	24	MC-LS-SVM	快乐、恐惧、悲伤、放松	快乐：92.79％；恐惧：87.62％；悲伤：88.98％；放松：93.13％
音频+视频^{［92，86］}	20	24	DT、KNN、SVM和极限学习机	快乐、恐惧、悲伤、放松	DT：87.7％；KNN：93.8％；SVM：93.1％；极限学习机：97.24％；整体准确性：97.24％
音频+视频^{［92，86］}	17	5	LSTM	低唤醒正、高唤醒正、低唤醒负、高唤醒负	早期融合：71.61％；晚期融合：70.17％

脑电信号情绪识别综述

Review of emotion recognition of EEG signals

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 92

相关文章 15

编辑推荐

Metrics

[1]	李毅仁, 申培. 面向废钢回收业务需求的异物检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 243-249.
[2]	沈权猷, 张小波, 李文豪, 李礼汉, 许荣德, 陈道花, 李静. U-Net在肺结节分割中的应用进展[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 250-257.
[3]	钟侠骄, 张绍兵, 郭静, 王胜朝, 成苗, 何莲, 赵铱民. 基于RandLA-Net的3D点云牙颌分割与身份识别[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 269-275.
[4]	汪雪林, 杜丽学, 陈德近, 张夏清, 许涛, 陈亚新, 余章卫. 基于深度学习和双目视觉的汽车油箱外盖定位[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 281-287.
[5]	刘希未, 宫晓燕, 赵红霞, 边思宇, 邵帅, 戴亚平, 代文鑫. 基于混合注意力机制的动态人脸表情识别[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 1-7.
[6]	江魁, 余志航, 陈小雷, 李宇豪. 基于BERT-CNN的Webshell流量检测系统设计与实现[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 126-132.
[7]	王栋, 张显, 李达, 郭庆雷, 常新, 冯景丽. 基于分布式异常检测的电网区块链安全防护方案[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 139-146.
[8]	邓帆, 曾渊, 刘博文, 姜博源, 钟重阳, 夏时洪. 基于Transformer时间特征聚合的步态识别模型[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 15-18.
[9]	谭朋柳, 徐光勇, 张露玉, 王润庶. 基于卷积神经网络和Adaboost的心脏病预测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 19-25.
[10]	陆靖桥, 宾炜, 卢永锵, 麦广柱, 陈银, 伍雁雄. 结合注意力互斥正则的细粒度图像分类[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 224-228.
[11]	秦静, 马雪倩, 高福杰, 季长清, 汪祖民. 基于步态分析的帕金森病辅助诊断方法综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1687-1695.
[12]	陈一驰, 陈斌. 计算机视觉中的终身学习综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1785-1795.
[13]	靳鑫, 刘仰川, 朱叶晨, 张子健, 高欣. 基于残差编解码-生成对抗网络的正弦图修复的稀疏角度锥束CT图像重建[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1950-1957.
[14]	董润婷, 吴利, 王晓英, 曹腾飞, 黄建强, 管琴, 吴洁瑕. 深度学习在天气预报领域的应用分析及研究进展综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1958-1968.
[15]	徐清海, 丁世飞, 孙统风, 张健, 郭丽丽. 改进的基于多路径特征的胶囊网络[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1330-1335.