基于概率稀疏自注意力神经网络的重性抑郁疾患诊断

doi:10.11772/j.issn.1001-9081.2023091371

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (9): 2970-2974.DOI: 10.11772/j.issn.1001-9081.2023091371

基于概率稀疏自注意力神经网络的重性抑郁疾患诊断

秦璟¹, 秦志光¹(), 李发礼², 彭悦恒²

^1.电子科技大学信息与软件工程学院，成都 610054
^2.电子科技大学生命科学与技术学院，成都 610054

收稿日期:2023-10-10 修回日期:2024-01-09 接受日期:2024-01-12 发布日期:2024-01-31 出版日期:2024-09-10
通讯作者: 秦志光
作者简介:秦璟（1994—），男，四川成都人，博士研究生，CCF会员，主要研究方向：医学图像、信号处理
李发礼（1990—），男，山东临沂人，副研究员，博士，主要研究方向：脑神经机制、脑网络分析、脑机交互
彭悦恒（1993—），男，四川成都人，博士研究生，主要研究方向：脑神经机制、脑网络分析、脑机交互。
基金资助:
国家自然科学基金资助项目(62027827)

Diagnosis of major depressive disorder based on probabilistic sparse self-attention neural network

Jing QIN¹, Zhiguang QIN¹(), Fali LI², Yueheng PENG²

^1.School of Information and Software Engineering，University of Electronic Science and Technology of China，Chengdu Sichuan 610054，China
^2.School of Life Science and Technology，University of Electronic Science and Technology of China，Chengdu Sichuan 610054，China

Received:2023-10-10 Revised:2024-01-09 Accepted:2024-01-12 Online:2024-01-31 Published:2024-09-10
Contact: Zhiguang QIN
About author:QIN Jing， born in 1994， Ph. D. candidate. His research interests include medical image， signal processing.
LI Fali， born in 1990， Ph. D.， associate research fellow. His research interests include brain neural mechanisms， brain network analysis， brain-computer interaction.
PENG Yueheng， born in 1993， Ph. D. candidate. His research interests include brain neural mechanisms， brain network analysis， brain-computer interaction.
Supported by:
National Natural Science Foundation of China(62027827)

摘要/Abstract

摘要：

抑郁症的诊断主要依赖于医师的咨询和量表评估等主观方法，可能导致误诊。脑电图（EEG）具有高时间分辨率、低成本、易于设置和无创等优点，因此可以用作精神障碍（如抑郁症）的定量测量工具。深度学习算法目前在EEG信号上有多种应用，其中就包括抑郁症的诊断和分类。EGG信号在通过自注意力机制处理时有大量的冗余部分，因此，提出一种基于概率稀疏自注意力机制的卷积神经网络（PSANet）。首先，根据采样因数在自注意力机制中选取少量最关键的注意力点，在运用自注意力机制的同时克服它计算成本高的缺点，使它可以在脑电长序列数据上应用；同时将脑电图与患者的生理量表进行嵌合，从而进行多维度诊断。在一个包含抑郁症患者和健康对照组的数据集上进行实验评估，实验结果表明，PSANet表现出较高的分类准确性，参数量也低于EEGNet等对比方法。

关键词: 抑郁症诊断, 脑电图, 深度学习, 自注意力机制, 卷积神经网络

Abstract:

The diagnosis of major depressive disorder predominantly relies on subjective methods， including physician consultations and scale assessments， which may lead to misdiagnosis. EEG （ElectroEncephaloGraphy） offers advantages such as high temporal resolution， low cost， ease of setup， and non-invasiveness， making it a potential quantitative measurement tool for psychiatric disorders， including depressive disorder. Recently， deep learning algorithms have been diversely applied to EEG signals， notably in the diagnosis and classification of depressive disorder. Due to significant redundancy is observed when processing EEG signals through a self-attention mechanism， a convolutional neural network leveraging a Probabilistic sparse Self-Attention mechanism （PSANet） was proposed. Firstly， a limited number of pivotal attention points were chosen in the self-attention mechanism based on the sampling factor， addressing the high computational cost and facilitating its application to extensive EEG data sequences； concurrently， EEG data was amalgamated with patients’ physiological scales for a comprehensive diagnosis. Experiments were executed on a dataset encompassing both depressive disorder patients and a healthy control group. Experimental results show that PSANet exhibits superior classification accuracy and a reduced number of parameters relative to alternative methodologies such as EEGNet.

Key words: depression disorder diagnosis, ElectroEncephaloGraphy (EEG), deep learning, self-attention mechanism, convolutional neural network

中图分类号:

TP389.1

秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 计算机应用, 2024, 44(9): 2970-2974.

Jing QIN, Zhiguang QIN, Fali LI, Yueheng PENG. Diagnosis of major depressive disorder based on probabilistic sparse self-attention neural network[J]. Journal of Computer Applications, 2024, 44(9): 2970-2974.

图/表 6

图1 PSANet的结构

Fig. 1 Structure of PSANet

表1 PSANet的网络参数

Tab. 1 Network parameters of PSANet

Layer	Filters	Size	Activation	Output
Input				（1 280，21）
Embedding	256	3		（1 280，256）
Prob Attn	256	5	GeLU	（1 280，256）
Dropout			Dropout=0.1	（1 280，256）
Conv 1d	256	3		（1 280，256）
BN 1d	256			（1 280，256）
Activation			ELU	（1 280，256）
Maxpool 1d	256	3	Stride=2	（640，256）
Prob Attn	128	5	GeLU	（640，128）
Dropout			Dropout=0.1	（640，128）
Conv 1d	128	3		（640，128）
BN 1d	128			（640，128）
Activation			ELU	（640，128）
Maxpool 1d	64	3	Stride=2	（320，64）
Prob Attn	64	5	GeLU	（320，64）
Dropout			Dropout=0.1	（320，64）
Conv 1d	64	3		（320，64）
BN 1d	64			（320，64）
Activation			ELU	（320，64）
Maxpool 1d	64	3	Stride=2	（160，64）
Flatten				（10 240，）
Linear				（512，）
Linear			Softmax	（2，）

图2 模型在验证集上的损失与准确度的变化情况

Fig. 2 Changes in model loss and accuracy on validation set

表2 不同模型在重度抑郁分类问题上的性能对比 (%)

Tab. 2 Performance comparison among different models in classification of major depressive disorder

模型	准确度	精确度	敏感度	特异度	F1-score
EEGNet	84.58 $±$ 2.26	85.59 $±$ 3.23	94.78 $±$ 2.00	58.43 $±$ 8.32	89.89 $±$ 1.44
DSNet	89.05 $±$ 1.23	90.83 $±$ 1.51	94.40 $±$ 1.29	75.07 $±$ 4.35	92.57 $±$ 0.85
DeprNet	90.03 $±$ 1.77	89.23 $±$ 1.64	95.88 $±$ 0.85	76.77 $±$ 5.24	93.28 $±$ 0.76
PSANet	91.57 $±$ 2.37	90.28 $±$ 2.37	99.06 $±$ 0.91	79.98 $±$ 7.56	94.46 $±$ 1.51

表2 不同模型在重度抑郁分类问题上的性能对比 (%)

Tab. 2 Performance comparison among different models in classification of major depressive disorder

模型	准确度	精确度	敏感度	特异度	F1-score
EEGNet	84.58 $±$ 2.26	85.59 $±$ 3.23	94.78 $±$ 2.00	58.43 $±$ 8.32	89.89 $±$ 1.44
DSNet	89.05 $±$ 1.23	90.83 $±$ 1.51	94.40 $±$ 1.29	75.07 $±$ 4.35	92.57 $±$ 0.85
DeprNet	90.03 $±$ 1.77	89.23 $±$ 1.64	95.88 $±$ 0.85	76.77 $±$ 5.24	93.28 $±$ 0.76
PSANet	91.57 $±$ 2.37	90.28 $±$ 2.37	99.06 $±$ 0.91	79.98 $±$ 7.56	94.46 $±$ 1.51

图3 不同模型在10折交叉验证中每折的准确度对比

Fig. 3 Comparison of each fold accuracy among different models in 10-fold cross validation

表3 不同模型在重度抑郁分类问题上的参数量对比 (MB)

Tab. 3 Comparison of parameters of different models in classification of major depressive disorder

模型	参数量	模型	参数量
PSANet	3.74	Transformer-encoder	90.68
EEGNet	8.13

参考文献 30

1	KENNEDY S H. Core symptoms of major depressive disorder： relevance to diagnosis and treatment ［J］. Dialogues in Clinical Neuroscience， 2008， 10（3）： 271-277.
2	CLARK M， DiBENEDETTI D， PEREZ V. Cognitive dysfunction and work productivity in major depressive disorder ［J］. Expert Review of Pharmacoeconomics & Outcomes Research， 2016， 16（4）： 455-463.
3	BECH P， BOLWIG T G， KRAMP P， et al. The Bech-Rafaelsen mania scale and the Hamilton depression scale： evaluation of homogeneity and inter-observer reliability ［J］. Acta Psychiatrica Scandinavica， 1979， 59（4）： 420-430.
4	BUZUG T M. Computed tomography ［M］// Springer Handbook of Medical Technology. Berlin： Springer， 2011： 311-342.
5	BIASIUCCI A， FRANCESCHIELLO B， MURRAY M M. Electroencephalography ［J］. Current Biology， 2019， 29（3）： R80-R85.
6	AL-SAEGH A， DAWWD S A， ABDUL-JABBAR J M. Deep learning for motor imagery EEG-based classification： a review ［J］. Biomedical Signal Processing and Control， 2021， 63： 102172.
7	ZHANG J， YIN Z， CHEN P， et al. Emotion recognition using multi-modal data and machine learning techniques： a tutorial and review ［J］. Information Fusion， 2020， 59： 103-126.
8	ZHANG X， LI J， HOU K， et al. EEG-based depression detection using convolutional neural network with demographic attention mechanism ［C］// Proceedings of the 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society. Piscataway： IEEE， 2020： 128-133.
9	WANG D， LEI C， ZHANG X， et al. Identification of depression with a semi-supervised GCN based on EEG data ［C］// Proceedings of the 2021 IEEE International Conference on Bioinformatics and Biomedicine. Piscataway： IEEE， 2021： 2338-2345.
10	SU Y， ZHANG Z X， CAI Q， et al. 3DMKDR： 3D multiscale kernels CNN model for depression recognition based on EEG ［J］. Journal of Beijing Institute of Technology， 2023， 32（2）： 230-241.
11	SONG X W， YAN D D， ZHAO L L， et al. LSDD-EEGNet： an efficient end-to-end framework for EEG-based depression detection［J］. Biomedical Signal Processing and Control， 2022， 75： 103612.
12	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
13	ZHOU H， ZHANG S， PENG J， et al. Informer： beyond efficient Transformer for long sequence time-series forecasting ［C］// Proceedings of the 2021 AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2021， 35（12）： 11106-11115.
14	LIU W， ZHANG C， WANG X， et al. Functional connectivity of major depression disorder using ongoing EEG during music perception ［J］. Clinical Neurophysiology， 2020， 131（10）： 2413-2422.
15	MUMTAZ W， ALI S S A， YASIN M A M， et al. A machine learning framework involving EEG-based functional connectivity to diagnose major depressive disorder （MDD）［J］. Medical & Biological Engineering & Computing， 2018， 56： 233-246.
16	ZHANG B， YAN G， YANG Z， et al. Brain functional networks based on resting-state EEG data for major depressive disorder analysis and classification ［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2021， 29： 215-229.
17	MUMTAZ W， XIA L， MOHD YASIN M A， et al. A wavelet-based technique to predict treatment outcome for major depressive disorder ［J］. PLoS ONE， 2017， 12（2）： e0171409.
18	LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG-based brain-computer interfaces ［J］. Journal of Neural Engineering， 2018， 15（5）： 056013.
19	DENG X， ZHANG B， YU N， et al. Advanced TSGL-EEGNet for motor imagery EEG-based brain-computer interfaces ［J］. IEEE Access， 2021， 9： 25118-25130.
20	HUANG W， XUE Y， HU L， et al. S-EEGNet： electroencephalogram signal classification based on a separable convolution neural network with bilinear interpolation ［J］. IEEE Access， 2020， 8： 131636-131646.
21	TSUKAHARA A， ANZAI Y， TANAKA K， et al. A design of EEGNet‐based inference processor for pattern recognition of EEG using FPGA ［J］. Electronics and Communications in Japan， 2021， 104（1）： 53-64.
22	SEAL A， BAJPAI R， AGNIHOTRI J， et al. DeprNet： a deep convolution neural network framework for detecting depression using EEG ［J］. IEEE Transactions on Instrumentation and Measurement， 2021， 70： 2505413.
23	TRIVEDI M H， McGRATH P J， FAVA M， et al. Establishing moderators and biosignatures of antidepressant response in clinical care （EMBARC）： rationale and design ［J］. Journal of Psychiatric Research， 2016， 78： 11-23.
24	XIA M， WU Y， GUO D， et al. DSNet： EEG-based spatial convolutional neural network for detecting major depressive disorder ［C］// Proceedings of the 3rd International Workshop on Human Brain and Artificial Intelligence. Cham： Springer， 2022： 50-59.
25	WANG B， KANG Y， HUO D， et al. Depression signal correlation identification from different EEG channels based on CNN feature extraction ［J］. Psychiatry Research： Neuroimaging， 2023， 328： 111582.
26	LI L， WANG X， LI J， et al. An EEG-based marker of functional connectivity： detection of major depressive disorder ［J］. Cognitive Neurodynamics， 2024， 18： 1671-1687.
27	AFZALI A， KHALEGHI A， HATEF B， et al. Automated major depressive disorder diagnosis using a dual-input deep learning model and image generation from EEG signals ［J/OL］. Waves in Random and Complex Media， 2023： 1-16 ［2023-12-23］. .
28	MAHDI A F， AHMED A K. Major depressive disorder diagnosis based on PSD imaging of electroencephalogram EEG and AI ［J］. Indonesian Journal of Electrical Engineering and Computer Science， 2022， 28（1）： 535-544.
29	RAVAN M， NOROOZI A， SANCHEZ M M， et al. Diagnostic deep learning algorithms that use resting EEG to distinguish major depressive disorder， bipolar disorder， and schizophrenia from each other and from healthy volunteers ［J］. Journal of Affective Disorders， 2024， 346： 285-298.
30	KSIBI A， ZAKARIAH M， MENZLI L J， et al. Electroencephalography-based depression detection using multiple machine learning techniques ［J］. Diagnostics， 2023， 13（10）： 1779.

[1]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[2]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[3]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[4]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[5]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[6]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[7]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[8]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[9]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[10]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[11]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[12]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[13]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.
[14]	高阳峄, 雷涛, 杜晓刚, 李岁永, 王营博, 闵重丹. 基于像素距离图和四维动态卷积网络的密集人群计数与定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2233-2242.
[15]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.

基于概率稀疏自注意力神经网络的重性抑郁疾患诊断

Diagnosis of major depressive disorder based on probabilistic sparse self-attention neural network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 30

相关文章 15

编辑推荐

Metrics