基于自适应多任务学习的睡眠生理时序分类方法

doi:10.11772/j.issn.1001-9081.2023020191

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (2): 654-662.DOI: 10.11772/j.issn.1001-9081.2023020191

所属专题：前沿与综合应用

• 前沿与综合应用 • 上一篇

基于自适应多任务学习的睡眠生理时序分类方法

宋钰丹¹^,², 王晶¹^,²^,³(), 王雪徽¹^,², 马朝阳¹^,², 林友芳¹^,²^,³

^1.北京交通大学计算机与信息技术学院，北京 100044
^2.北京交通大学交通数据分析与挖掘北京市重点实验室，北京 100044
^3.民航旅客服务智能化应用技术重点实验室，北京 101318

收稿日期:2023-03-01 修回日期:2023-05-04 接受日期:2023-05-05 发布日期:2024-02-22 出版日期:2024-02-10
通讯作者: 王晶
作者简介:宋钰丹（1997—），女，山西孝义人，硕士研究生，主要研究方向：睡眠生理信号分类、深度学习
王雪徽（2000—），男，安徽淮南人，硕士研究生，主要研究方向：睡眠生理数据分析、深度学习
马朝阳（1998—），女，山西大同人，硕士研究生，主要研究方向：心电时间序列分类和可解释性
林友芳（1971—），男，福建武平人，教授，博士生导师，博士，CCF会员，主要研究方向：智能系统、复杂网络、交通数据挖掘。
基金资助:
中央高校基本科研业务费资助项目(2021JBM007)

Sleep physiological time series classification method based on adaptive multi-task learning

Yudan SONG¹^,², Jing WANG¹^,²^,³(), Xuehui WANG¹^,², Zhaoyang MA¹^,², Youfang LIN¹^,²^,³

^1.School of Computer and Information Technology，Beijing Jiaotong University，Beijing 100044，China
^2.Beijing Key Lab of Traffic Data Analysis and Mining，Beijing Jiaotong University，Beijing 100044，China
^3.Key Laboratory of Intelligent Application Technology for Civil Aviation Passenger Services，Beijing 101318，China

Received:2023-03-01 Revised:2023-05-04 Accepted:2023-05-05 Online:2024-02-22 Published:2024-02-10
Contact: Jing WANG
About author:SONG Yudan， born in 1997， M. S. candidate. Her research interests include sleep physiological signal classification， deep learning.
WANG Xuehui， born in 2000， M. S. candidate. His research interests include sleep physiological data analysis， deep learning.
MA Zhaoyang， born in 1998， M. S. candidate. Her research interests include electrocardiogram time series classification and interpretability.
LIN Youfang， born in 1971，Ph. D.， professor. His research interests include intelligent system， complex network， traffic data mining.
Supported by:
Fundamental Research Funds for Central Universities(2021JBM007)

摘要/Abstract

摘要：

针对睡眠阶段与睡眠呼吸暂停低通气之间相关性的问题，提出一种基于自适应多任务学习的睡眠生理时序分类方法。该方法利用单导脑电与心电检测睡眠分期和睡眠呼吸暂停低通气综合征（SAHS），构造双流时间依赖学习模块，在两个任务的联合监督下提取共享特征，设计自适应任务间关联性学习模块，利用通道注意力机制建模睡眠阶段和呼吸暂停低通气之间的相关性。在两个公开数据集上的实验结果表明，所提方法可以同时完成睡眠分期与SAHS检测。在UCD数据集上，所提方法睡眠分期准确率、宏F1分数（MF1）、受试者特性曲线下面积（AUC）与TinySleepNet相比分别提升了1.21个百分点、1.22个百分点和0.008 3，SAHS检测的宏F2分数（MF2）、受试者特性曲线下面积、召回率与6-layer CNN模型相比，分别提升了11.08个百分点、0.053 7和15.75个百分点，能检出更多患病片段。所提方法可应用于家庭睡眠监测或移动医疗中，实现高效、便捷的睡眠质量评估，辅助医生对SAHS进行初步诊断。

关键词: 睡眠分期, 睡眠呼吸暂停低通气检测, 脑电图, 心电图, 深度学习, 多任务学习

Abstract:

Aiming at the correlation problem between sleep stages and sleep apnea hypopnea， a sleep physiological time series classification method based on adaptive multi-task learning was proposed. Single-channel electroencephalogram and electrocardiogram were used for sleep staging and Sleep Apnea Hypopnea Syndrome （SAHS） detection. A two-stream time dependence learning module was utilized to extract shared features under joint supervision of the two tasks. The correlation between sleep stages and sleep apnea hypopnea was modeled by the adaptive inter-task correlation learning module with channel attention mechanism. The experimental results on two public datasets indicate that the proposed method can complete sleep staging and SAHS detection simultaneously. On UCD dataset， the accuracy， MF1（Macro F1-score）， and Area Under the receiver characteristic Curve （AUC） for sleep staging of the proposed method were 1.21 percentage points， 1.22 percentage points， and 0.008 3 higher than those of TinySleepNet； its MF2 （Macro F2-score）， AUC， and recall of SAHS detection were 11.08 percentage points， 0.053 7， and 15.75 percentage points higher than those of the 6-layer CNN model， which meant more disease segments could be detected. The proposed method could be applied to home sleep monitoring or mobile medical to achieve efficient and convenient sleep quality assessment， assisting doctors in preliminary diagnosis of SAHS.

Key words: sleep staging, sleep apnea hypopnea detection, ElectroenCephaloGram (ECG), ElectroCardioGram (ECG), deep learning, multi-task learning

中图分类号:

TP391.4

宋钰丹, 王晶, 王雪徽, 马朝阳, 林友芳. 基于自适应多任务学习的睡眠生理时序分类方法[J]. 计算机应用, 2024, 44(2): 654-662.

Yudan SONG, Jing WANG, Xuehui WANG, Zhaoyang MA, Youfang LIN. Sleep physiological time series classification method based on adaptive multi-task learning[J]. Journal of Computer Applications, 2024, 44(2): 654-662.

图/表 13

参考文献 32

1	PEREZ-POZUELO I， ZHAI B， PALOTTI J， et al. The future of sleep health： a data-driven revolution in sleep science and medicine［J］. NPJ Digital Medicine， 2020， 3： 42. 10.1038/s41746-020-0244-4
2	WOLPERT E A. A manual of standardized terminology， techniques and scoring system for sleep stages of human subjects［J］. Archives of General Psychiatry， 1969， 20（2）： 246-247. 10.1001/archpsyc.1969.01740140118016
3	BERRY R B， BUDHIRAJA R， GOTTLIEB D J， et al. The American Academy of Sleep Medicine （AASM） manual for the scoring of sleep and associated events： rules， terminology and technical specifications［J］. Journal of Clinical Sleep Medicine， 2012， 8（5）： 597-619.
4	ENGLEMAN H M， DOUGLAS N J. Sleep·4： Sleepiness， cognitive function， and quality of life in obstructive sleep apnoea/hypopnoea syndrome［J］. Thorax， 2004， 59（7）： 618-622. 10.1136/thx.2003.015867
5	SUBRAMANIAN S， HESSELBACHER S， MATTEWAL A， et al. Gender and age influence the effects of slow-wave sleep on respiration in patients with obstructive sleep apnea［J］. Sleep and Breathing， 2013， 17： 51-56. 10.1007/s11325-011-0644-4
6	ALZOUBAIDI M， MOKHLESI B. Obstructive sleep apnea during REM sleep： clinical relevance and therapeutic implications［J］. Current Opinion in Pulmonary Medicine， 2016， 22 （6）： 545-554. 10.1097/mcp.0000000000000319
7	FINDLEY L J， WILHOIT S C， SURATT P M. Apnea duration and hypoxemia during REM sleep in patients with obstructive sleep apnea［J］. Chest， 1985， 87（4）： 432-436. 10.1378/chest.87.4.432
8	范文兵，刘雪峰，赵艳阳. 基于单通道脑电信号的自动睡眠分期［J］. 计算机应用， 2017， 37（Z2）：318-321.
	FAN W B， LIU X F， ZHAO Y Y， et al. Automatic sleep staging based on single channel electroencephalogram signal ［J］. Journal of Computer Applications， 2017， 37 （Z2）： 318-321.
9	SUPRATAK A， DONG H， WU C， et al. DeepSleepNet： a model for automatic sleep stage scoring based on raw single-channel EEG［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2017， 25（11）： 1998-2008. 10.1109/tnsre.2017.2721116
10	金欢欢，尹海波，何玲娜. 基于生成少数类技术的深度自动睡眠分期模型［J］. 计算机应用， 2018， 38（9）：2483-2488， 2506. 10.11772/j.issn.1001-9081.2018020440
	JIN H H， YIN H B， HE L N. A deep automatic sleep staging model based on the generation of minority classes ［J］. Journal of Computer Applications， 2018， 38（9）： 2483-2488， 2506. 10.11772/j.issn.1001-9081.2018020440
11	JIA Z， LIN Y， WANG J， et al. GraphSleepNet： adaptive spatial-temporal graph convolutional networks for sleep stage classification［C］// Proceedings of the 29th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2020： 1324-1330. 10.24963/ijcai.2020/184
12	ELDELE E， CHEN Z， LIU C， et al. An attention-based deep learning approach for sleep stage classification with single-channel EEG［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2021， 29： 809-818. 10.1109/tnsre.2021.3076234
13	ALMAZAYDEH L， ELLEITHY K， FAEZIPOUR M. Obstructive sleep apnea detection using SVM-based classification of ECG signal features［C］// Proceedings of the 2012 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway， NJ： IEEE， 2012： 4938-4941. 10.1109/embc.2012.6347100
14	WANG T， LU C， SHEN G， et al. Sleep apnea detection from a single-lead ECG signal with automatic feature-extraction through a modified LeNet-5 convolutional neural network［J］. PeerJ， 2019， 7： e7731. 10.7717/peerj.7731
15	SHARAN R V， BERKOVSKY S， XIONG H， et al. End-to-end sleep apnea detection using single-lead ECG signal and 1-D residual neural networks［J］. Journal of Medical and Biological Engineering， 2021， 41 ： 758-766. 10.1007/s40846-021-00646-8
16	LI Q， LI Q， LIU C， et al. Deep learning in the cross-time-frequency domain for sleep staging from a single lead electrocardiogram［J］. Physiological Measurement， 2018， 39（12）： 124005. 10.1088/1361-6579/aaf339
17	LIN R， LEE R-G， C-L TSENG， et al. A new approach for identifying sleep apnea syndrome using wavelet transform and neural networks［J］. Biomedical Engineering： Applications， Basis and Communications， 2006， 18（3）： 138-143. 10.4015/s1016237206000233
18	CARUANA R. Multitask learning［J］. Machine Learning， 1997， 28： 41-75. 10.1023/a:1007379606734
19	MISRA I， SHRIVASTAVA A， GUPTA A， et al. Cross-stitch networks for multi-task learning［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 3994-4003. 10.1109/cvpr.2016.433
20	MA J， ZHAO Z， YI X， et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2018： 1930-1939. 10.1145/3219819.3220007
21	CIPOLLA R， GAL Y， KENDALL A. Multi-task learning using uncertainty to weigh losses for scene geometry and semantics［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7482-7491. 10.1109/cvpr.2018.00781
22	TAYLOR S， JAQUES N， NOSAKHARE E， et al. Personalized multitask learning for predicting tomorrow’s mood， stress， and health［J］. IEEE Transactions on Affective Computing， 2017， 11（2）： 200-213.
23	PANG G， PHAM N， BAKER E， et al. Deep multi-task learning for depression detection and prediction in longitudinal data ［EB/OL］. （2020-12-05）. .
24	BENDJOUDI I， VANDERHAEGEN F， HAMAD D， et al. Multi-label， multi-task CNN approach for context-based emotion recognition［J］. Information Fusion， 2021， 76： 422-428. 10.1016/j.inffus.2020.11.007
25	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
26	CHEN Z， BADRINARAYANAN V， LEE C-Y， et al. GradNorm： gradient normalization for adaptive loss balancing in deep multitask networks［C］// Proceedings of the 35th International Conference on Machine Learning. New York： PMLR， 2017： 794-803. 10.48550/arXiv.1711.02257
27	GOLDBERGER A L， AMARAL L A， GLASS L， et al. PhysioBank， PhysioToolkit， and PhysioNet： components of a new research resource for complex physiologic signals［J］. Circulation， 2000， 101（23）： e215-e220. 10.1161/01.cir.101.23.e215
28	KHALIGHI S， SOUSA T， SANTOS J M， et al. ISRUC-Sleep： a comprehensive public dataset for sleep researchers［J］. Computer Methods and Programs in Biomedicine， 2016， 124： 180-192. 10.1016/j.cmpb.2015.10.013
29	SUPRATAK A， GUO Y. TinySleepNet： an efficient deep learning model for sleep stage scoring based on raw single-channel EEG［C］// Proceedings of the 2020 42nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2020： 641-644. 10.1109/embc44109.2020.9176741
30	URTNASAN E， J-U PARK， LEE K-J. Multiclass classification of obstructive sleep apnea/hypopnea based on a convolutional neural network from a single-lead electrocardiogram［J］. Physiological Measurement， 2018， 39（6）： 065003. 10.1088/1361-6579/aac7b7
31	PAPINI G B， FONSECA P， MARGARITO J， et al. On the generalizability of ECG-based obstructive sleep apnea monitoring： merits and limitations of the Apnea-ECG database［C］// Proceedings of the 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2018： 6022-6025. 10.1109/embc.2018.8513660
32	阻塞性睡眠呼吸暂停低通气综合征诊治指南（基层版）写作组. 阻塞性睡眠呼吸暂停低通气综合征诊治指南（基层版）［J］. 中国呼吸与危重监护杂志， 2015， 14（4）： 398-405.
	Writing Group for Diagnosis and Treatment Guidelines for Obstructive Sleep Apnea Hypoventilation Syndrome （Grassroots Edition）. Guidelines for the diagnosis and treatment of obstructive sleep apnea hypopnea syndrome （grassroots version）［J］. Chinese Journal of Respiratory and Critical Care Medicine， 2015， 14 （4）： 398-405.

数据集	WAKE		N1		N2		N3		REM		总样本量
数据集	样本量	占比/%	样本量	占比/%	样本量	占比/%	样本量	占比/%	样本量	占比/%	总样本量
UCD	4 659	25.36	3 400	18.51	6 984	38.02	673	3.66	3 014	16.41	18 370
ISRUC	18 940	22.55	10 737	12.78	26 691	31.78	16 743	19.93	10 899	12.96	84 000

数据集	WAKE		N1		N2		N3		REM		总样本量
数据集	样本量	占比/%	样本量	占比/%	样本量	占比/%	样本量	占比/%	样本量	占比/%	总样本量
UCD	4 659	25.36	3 400	18.51	6 984	38.02	673	3.66	3 014	16.41	18 370
ISRUC	18 940	22.55	10 737	12.78	26 691	31.78	16 743	19.93	10 899	12.96	84 000

数据集	呼吸暂停低通气		正常		总样本量
数据集	样本量	占比/%	样本量	占比/%	总样本量
UCD	3 876	21.10	14 854	80.86	18 370
ISRUC	6 579	7.83	77 421	92.17	84 000

数据集	呼吸暂停低通气		正常		总样本量
数据集	样本量	占比/%	样本量	占比/%	总样本量
UCD	3 876	21.10	14 854	80.86	18 370
ISRUC	6 579	7.83	77 421	92.17	84 000

方法	STL/MTL	输入信号	UCD数据集			ISRUC数据集
方法	STL/MTL	输入信号	ACC/%	MF1/%	ROC-AUC	ACC/%	MF1/%	ROC-AUC
DeepSleepNet	STL	EEG	74.36±0.69	73.54±0.37	0.932 6±0.003 0	72.71±1.15	70.32±1.33	0.932 1±0.003 7
12-layer CNN	STL	EEG	74.46±0.55	73.49±0.72	0.929 7±0.005 7	79.27±0.22	77.38±0.26	0.947 5±0.000 8
TinySleepNet	STL	EEG	75.96±0.28	74.98±0.26	0.936 9±0.003 8	79.09±0.30	77.57±0.22	0.953 0±0.001 2
AttnSleep	STL	EEG	75.07±1.43	74.10±1.42	0.936 7±0.003 2	77.52±0.46	76.48±0.91	0.945 7±0.004 0
本文方法	MTL	EEG+ECG	77.17±0.46	76.20±0.34	0.945 2±0.002 1	79.39±0.32	77.34±0.42	0.952 9±0.000 6

基于自适应多任务学习的睡眠生理时序分类方法

Sleep physiological time series classification method based on adaptive multi-task learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 32

相关文章 15

编辑推荐

Metrics

方法	STL/ MTL	输入信号	UCD数据集				ISRUC数据集
方法	STL/ MTL	输入信号	ACC/%	MF2/%	ROC-AUC	Recall/%	ACC/%	MF2/%	ROC-AUC	Recall/%
6-layer CNN	STL	ECG	84.25±1.14	54.01±3.79	0.722 3±0.018 0	53.17±4.73	88.492±2.43	29.23±7.93	0.618 2±0.035 8	29.70±10.59
1D-ResNet	STL	ECG	88.25±0.69	48.83±5.93	0.712 4±0.027 9	44.26±6.19	92.386±0.30	16.17±6.48	0.566 7±0.027 7	13.59±5.65
本文方法	MTL	EEG+ ECG	83.07±0.81	65.09±0.68	0.776 0±0.003 6	68.92±1.45	89.72±0.68	39.13±1.28	0.667 6±0.007 0	39.11±1.61

睡眠时期	条件概率	注意力权重
WAKE	0.035 3	0.383 9
N1	0.131 0	0.536 8
N2	0.123 1	0.641 4
N3	0.094 7	0.537 2
REM	0.146 2	0.640 9

方法		STL/MTL	FLOPs/10⁶	参数量/10³	占用GPU显存/MB	训练时间/min
睡眠分期 STL基准方法	DeepSleepNet	STL	245.40	38 780.00	2 303	95
	12-layer CNN	STL	1 160.00	2 280.00	3 869	116
	TinySleepNet	STL	144.41	1450.00	1 135	81
	AttnSleep	STL	392.47	1 260.00	2 823	89
SAHS检测 STL基准方法	6⁃layer CNN	STL	328.94	64.87	3 113	146
SAHS检测 STL基准方法	1D ResNet	STL	392.47	1 260.00	2 637	152
MTL方法	本文方法	MTL	504.90	968.02	2 589	201

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[3]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[4]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[5]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[6]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[7]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[8]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[9]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[10]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[11]	张郅, 李欣, 叶乃夫, 胡凯茜. 基于暗知识保护的模型窃取防御技术DKP[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2080-2086.
[12]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.
[13]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[14]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.
[15]	赵雅娟, 孟繁军, 徐行健. 在线教育学习者知识追踪综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1683-1698.