小样本场景下的元迁移学习睡眠分期模型

doi:10.11772/j.issn.1001-9081.2023050747

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (5): 1445-1451.DOI: 10.11772/j.issn.1001-9081.2023050747

所属专题：人工智能； 2023年中国计算机学会人工智能会议(CCFAI 2023)

• 2023年中国计算机学会人工智能会议(CCFAI 2023) • 上一篇下一篇

小样本场景下的元迁移学习睡眠分期模型

时旺军¹^,², 王晶¹^,²^,³(), 宁晓军¹^,², 林友芳¹^,²^,³

^1.北京交通大学计算机科学与技术学院, 北京 100044
^2.交通数据分析与挖掘北京市重点实验室(北京交通大学), 北京 100044
^3.民航旅客服务智能化应用技术重点实验室(中国民用航空局), 北京 101318

收稿日期:2023-06-09 修回日期:2023-07-05 接受日期:2023-07-09 发布日期:2023-08-01 出版日期:2024-05-10
通讯作者: 王晶
作者简介:时旺军（1999—），男，天津人，硕士研究生，主要研究方向：数据挖掘、机器学习
宁晓军（1999—），男，山东泰安人，博士研究生，CCF会员，主要研究方向：脑机接口、时间序列分析与挖掘
林友芳（1971—），男，福建武平人，教授，博士，CCF高级会员，主要研究方向：智能系统、复杂网络、交通数据挖掘。
第一联系人：王晶（1987—），女，安徽合肥人，副教授，博士，CCF会员，主要研究方向：时间序列分析与挖掘
基金资助:
中央高校基本科研业务费专项资金资助项目(2023JBMC056)

Sleep stage classification model by meta transfer learning in few-shot scenarios

Wangjun SHI¹^,², Jing WANG¹^,²^,³(), Xiaojun NING¹^,², Youfang LIN¹^,²^,³

^1.School of Computer Science and Technology，Beijing Jiaotong University，Beijing 100044，China
^2.Beijing Key Lab of Traffic Data Analysis and Mining （Beijing Jiaotong University），Beijing 100044，China
^3.Key Laboratory of Intelligent Application Technology for Civil Aviation Passenger Services （Civil Aviation Administration of China），Beijing 101318，China

Received:2023-06-09 Revised:2023-07-05 Accepted:2023-07-09 Online:2023-08-01 Published:2024-05-10
Contact: Jing WANG
About author:SHI Wangjun， born in 1999， M. S. candidate. His research interests include data mining， machine learning.
NING Xiaojun， born in 1999， Ph. D. candidate. His research interests include brain computer interface， time series analysis and mining.
LIN Youfang， born in 1971， Ph. D.， professor. His research interests include intelligent systems， complex networks， traffic data mining.
Supported by:
Fundamental Research Funds for Central Universities(2023JBMC056)

摘要/Abstract

摘要：

睡眠障碍受到越来越多的关注，且自动化睡眠分期的准确性、泛化性受到了越来越多的挑战。然而，公开的睡眠数据十分有限，睡眠分期任务实际上更近似于一种小样本场景；同时由于睡眠特征的个体差异普遍存在，现有的机器学习模型很难保证准确判读未参与训练的新受试者的数据。为了实现对新受试者睡眠数据的精准分期，现有研究通常需要额外采集、标注新受试者的大量数据，并对模型进行个性化微调。基于此，借鉴迁移学习中基于缩放-偏移的权重迁移思想，提出一种元迁移睡眠分期模型MTSL（Meta Transfer Sleep Learner），设计了一种新的元迁移学习框架：训练阶段包括预训练与元迁移训练两步，其中元迁移训练时使用大量的元任务进行训练；而在测试阶段仅使用极少的新受试者数据进行微调，模型就能轻松适应新受试者的特征分布，大幅减少对新受试者进行准确睡眠分期的成本。在两个公开的睡眠数据集上的实验结果表明，MTSL模型在单数据集、跨数据集两种条件下都能取得更高的准确率和F1分数，这表明MTSL更适合小样本场景下的睡眠分期任务。

关键词: 睡眠分期, 小样本, 元学习, 迁移学习, 深度学习, 脑电信号

Abstract:

Sleep disorders are receiving more and more attention， and the accuracy and generalization of automated sleep stage classification are facing more and more challenges. However， due to the very limited human sleep data publicly available， the sleep stage classification task is actually similar to a few-shot scenario. And due to the widespread individual differences in sleep features， it is difficult for existing machine learning models to guarantee accurate classification of data from new subjects who have not participated in the training. In order to achieve accurate stage classification of new subjects’ sleep data， existing studies usually require additional collection and labeling of large amounts of data from new subjects and personalized fine-tuning of the model. Based on this， a new sleep stage classification model， Meta Transfer Sleep Learner （MTSL）， was proposed. Inspired by the idea of Scale & Shift based weight transfer strategy in transfer learning， a new meta transfer learning framework was designed. The training phase included two steps： pre-training and meta transfer training， and many meta-tasks were used for meta transfer training. In the test phase， the model could be easily adapted to the feature distribution of new subjects by fine-tuning with only a few new subjects’ data， which greatly reduced the cost of accurate sleep stage classification for new subjects. Experimental results on two public sleep datasets show that MTSL model can achieve higher accuracy and F1-score under both single-dataset and cross-dataset conditions. This indicates that MTSL is more suitable for sleep stage classification tasks in few-shot scenarios.

Key words: sleep stage classification, few-shot, meta learning, transfer learning, deep learning, ElectroEncephaloGraphy (EEG)

中图分类号:

TP391

时旺军, 王晶, 宁晓军, 林友芳. 小样本场景下的元迁移学习睡眠分期模型[J]. 计算机应用, 2024, 44(5): 1445-1451.

Wangjun SHI, Jing WANG, Xiaojun NING, Youfang LIN. Sleep stage classification model by meta transfer learning in few-shot scenarios[J]. Journal of Computer Applications, 2024, 44(5): 1445-1451.

图/表 7

参考文献 22

1	WOLPERT E A. A manual of standardized terminology， techniques and scoring system for sleep stages of human subjects ［J］. Archives of General Psychiatry， 1969， 20（2）： 246-247. 10.1001/archpsyc.1969.01740140118016
2	BERRY R B， BROOKS R， GAMALDO C E， et al. The AASM manual for the scoring of sleep and associated events. Rules， terminology and technical specifications version 2.2 ［S/OL］. （2015）［2023-05-01］. . 10.5664/jcsm.5176
3	BANLUESOMBATKUL N， OUPPAPHAN P， LEELAARPORN P， et al. MetaSleepLearner： a pilot study on fast adaptation of bio-signals-based sleep stage classifier to new individual subject using meta-learning［J］. IEEE Journal of Biomedical and Health Informatics， 2021， 25（6）： 1949-1963. 10.1109/jbhi.2020.3037693
4	KOLEY B， DEY D. An ensemble system for automatic sleep stage classification using single channel EEG signal［J］. Computers in Biology and Medicine， 2012， 42（12）： 1186-1195. 10.1016/j.compbiomed.2012.09.012
5	ANDREOTTI F， PHAN H， COORAY N， et al. Multichannel sleep stage classification and transfer learning using convolutional neural networks［C］// Proceedings of the 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2018： 171-174. 10.1109/embc.2018.8512214
6	SUPRATAK A， DONG H， WU C， et al. DeepSleepNet： a model for automatic sleep stage scoring based on raw single-channel EEG［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2017， 25（11）： 1998-2008. 10.1109/tnsre.2017.2721116
7	PERSLEV M， DARKNER S， KEMPFNER L， et al. U-Sleep： resilient high-frequency sleep staging［J］. npj Digital Medicine， 2021， 4： No.72. 10.1038/s41746-021-00440-5
8	金欢欢，尹海波，何玲娜. 基于生成少数类技术的深度自动睡眠分期模型［J］. 计算机应用， 2018， 38（9）： 2483-2488. 10.11772/j.issn.1001-9081.2018020440
	JIN H H， YIN H B， HE L N. Deep automatic sleep staging model using synthetic minority technique［J］. Journal of Computer Applications， 2018， 38（9）： 2483-2488. 10.11772/j.issn.1001-9081.2018020440
9	BOOSTANI R， KARIMZADEH F， NAMI M. A comparative review on sleep stage classification methods in patients and healthy individuals［J］. Computer Methods and Programs in Biomedicine， 2017， 140： 77-91. 10.1016/j.cmpb.2016.12.004
10	ANDREOTTI F， PHAN H， COORAY N， et al. Multichannel sleep stage classification and transfer learning using convolutional neural networks［C］// Proceedings of the 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2018： 171-174. 10.1109/embc.2018.8512214
11	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 Medical Image Computing and Computer-Assisted Intervention. Cham： Springer， 2015： 234-241. 10.1007/978-3-319-24574-4_28
12	WANG J X. Meta-learning in natural and artificial intelligence［J］. Current Opinion in Behavioral Sciences， 2021， 38： 90-95. 10.1016/j.cobeha.2021.01.002
13	FINN C， ABBEEL P， LEVINE S. Model-agnostic meta-learning for fast adaptation of deep networks［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR， 2017： 1126-1135. 10.1109/icra.2016.7487173
14	VINYALS O， BLUNDELL C， LILLICRAP T， et al. Matching networks for one shot learning［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2016： 3637-3645.
15	SNELL J， SWERSKY K， ZEMEL R. Prototypical networks for few-shot learning［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 4080-4090.
16	SUN Q， LIU Y， CHEN Z， et al. Meta-transfer learning through hard tasks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（3）： 1443-1456. 10.1109/tpami.2020.3018506
17	FRENCH R M. Catastrophic forgetting in connectionist networks［J］. Trends in Cognitive Sciences， 1999， 3（4）： 128-135. 10.1016/s1364-6613(99)01294-2
18	KHALIGHI S， SOUSA T， SANTOS J M， et al. ISRUC-Sleep： a comprehensive public dataset for sleep researchers［J］. Computer Methods and Programs in Biomedicine， 2016， 124： 180-192. 10.1016/j.cmpb.2015.10.013
19	GOLDBERGER A L， AMARAL L A， GLASS L， et al. PhysioBank， PhysioToolkit， and PhysioNet： components of a new research resource for complex physiologic signals［J］. Circulation， 2000， 101（23）： e215-e220. 10.1161/01.cir.101.23.e215
20	KEMP B， ZWINDERMAN A H， TUK B， et al. Analysis of a sleep-dependent neuronal feedback loop： the slow-wave microcontinuity of the EEG［J］. IEEE Transactions on Biomedical Engineering， 2000， 47（9）： 1185-1194. 10.1109/10.867928
21	GOUTTE C， GAUSSIER E. A probabilistic interpretation of precision， recall and F-score， with implication for evaluation［C］// Proceedings of the 2005 27th European Conference on IR Research. Cham： Springer， 2005： 345-359. 10.1007/978-3-540-31865-1_25
22	BRENNAN R L， PREDIGER D J. Coefficient kappa： some uses， misuses， and alternatives［J］. Educational and Psychological Measurement， 1981， 41： 687-699. 10.1177/001316448104100307

数据集	方法	总体指标			每个类别的F1分数
数据集	方法	准确率	F1分数	Kappa	Wake	N1	N2	N3	REM
ISRUC-S3	RF^［5］	0.640 0	0.622 9	0.550 0	0.797 1	0.363 7	0.398 1	0.869 5	0.686 3
	SVM^［4］	0.654 6	0.612 8	0.568 2	0.800 2	0.281 6	0.399 7	0.894 0	0.688 7
	Matching Network^［14］	0.634 5	0.577 2	0.543 1	0.811 7	0.082 9	0.525 5	0.859 6	0.606 3
	MetaSleepLearner^［3］	0.670 5	0.669 6	0.588 1	0.837 7	0.483 7	0.545 9	0.895 8	0.584 9
	Prototypical Network^［15］	0.713 2	0.708 8	0.641 6	0.861 5	0.538 8	0.569 8	0.898 4	0.675 8
	DeepSleepNet^［6］	0.732 6	0.721 4	0.665 8	0.866 9	0.507 2	0.618 0	0.903 9	0.710 8
	U-Sleep^［7］	0.763 8	0.754 7	0.704 7	0.911 1	0.646 4	0.485 9	0.888 8	0.841 3
	MTSL	0.778 8	0.776 7	0.723 5	0.898 5	0.650 2	0.643 5	0.901 6	0.789 7
Sleep-EDF	RF^［5］	0.660 0	0.655 4	0.575	0.827 9	0.516 8	0.587 2	0.816 3	0.528 8
	SVM^［4］	0.653 0	0.659 7	0.566 2	0.820 2	0.546 5	0.567 0	0.796 4	0.568 2
	Matching Network^［14］	0.669 1	0.664 5	0.586 4	0.852 3	0.510 0	0.684 2	0.875 5	0.400 6
	MetaSleepLearner^［3］	0.690 7	0.692 1	0.613 4	0.829 5	0.625 8	0.619 9	0.895 0	0.490 5
	Prototypical Network^［15］	0.714 5	0.715 8	0.643 1	0.836 9	0.637 8	0.651 4	0.900 4	0.552 7
	DeepSleepNet^［6］	0.764 5	0.764 6	0.705 6	0.877 4	0.694 2	0.704 0	0.900 7	0.646 8
	U‑Sleep^［7］	0.777 0	0.776 4	0.721 3	0.901 0	0.687 7	0.720 4	0.879 1	0.693 8
	MTSL	0.798 0	0.797 2	0.747 4	0.908 6	0.759 9	0.706 6	0.911 8	0.699 0

数据集	方法	总体指标			每个类别的F1分数
数据集	方法	准确率	F1分数	Kappa	Wake	N1	N2	N3	REM
ISRUC-S3	RF^［5］	0.640 0	0.622 9	0.550 0	0.797 1	0.363 7	0.398 1	0.869 5	0.686 3
	SVM^［4］	0.654 6	0.612 8	0.568 2	0.800 2	0.281 6	0.399 7	0.894 0	0.688 7
	Matching Network^［14］	0.634 5	0.577 2	0.543 1	0.811 7	0.082 9	0.525 5	0.859 6	0.606 3
	MetaSleepLearner^［3］	0.670 5	0.669 6	0.588 1	0.837 7	0.483 7	0.545 9	0.895 8	0.584 9
	Prototypical Network^［15］	0.713 2	0.708 8	0.641 6	0.861 5	0.538 8	0.569 8	0.898 4	0.675 8
	DeepSleepNet^［6］	0.732 6	0.721 4	0.665 8	0.866 9	0.507 2	0.618 0	0.903 9	0.710 8
	U-Sleep^［7］	0.763 8	0.754 7	0.704 7	0.911 1	0.646 4	0.485 9	0.888 8	0.841 3
	MTSL	0.778 8	0.776 7	0.723 5	0.898 5	0.650 2	0.643 5	0.901 6	0.789 7
Sleep-EDF	RF^［5］	0.660 0	0.655 4	0.575	0.827 9	0.516 8	0.587 2	0.816 3	0.528 8
	SVM^［4］	0.653 0	0.659 7	0.566 2	0.820 2	0.546 5	0.567 0	0.796 4	0.568 2
	Matching Network^［14］	0.669 1	0.664 5	0.586 4	0.852 3	0.510 0	0.684 2	0.875 5	0.400 6
	MetaSleepLearner^［3］	0.690 7	0.692 1	0.613 4	0.829 5	0.625 8	0.619 9	0.895 0	0.490 5
	Prototypical Network^［15］	0.714 5	0.715 8	0.643 1	0.836 9	0.637 8	0.651 4	0.900 4	0.552 7
	DeepSleepNet^［6］	0.764 5	0.764 6	0.705 6	0.877 4	0.694 2	0.704 0	0.900 7	0.646 8
	U‑Sleep^［7］	0.777 0	0.776 4	0.721 3	0.901 0	0.687 7	0.720 4	0.879 1	0.693 8
	MTSL	0.798 0	0.797 2	0.747 4	0.908 6	0.759 9	0.706 6	0.911 8	0.699 0

数据集	方法	准确率	F1分数	Kappa
Sleep-EDF ↓ ISRUC-S3	RF^［5］	0.411 6	0.401 5	0.264 5
	SVM^［54］	0.353 6	0.349 8	0.192 0
	Matching Network^［14］	0.598 5	0.568 6	0.498 1
	MetaSleepLearner^［3］	0.610 6	0.611 4	0.513 2
	Prototypical Network^［15］	0.652 2	0.657 0	0.565 3
	DeepSleepNet^［6］	0.636 7	0.632 9	0.545 9
	U-Sleep^［7］	0.613 8	0.609 1	0.517 2
	MTSL	0.669 2	0.669 0	0.586 4
ISRUC-S3 ↓ Sleep-EDF	RF^［5］	0.391 2	0.360 4	0.239 0
	SVM^［4］	0.475 8	0.408 6	0.344 8
	Matching Network^［14］	0.575 6	0.569 3	0.469 5
	MetaSleepLearner^［3］	0.616 3	0.614 1	0.520 3
	Prototypical Network^［15］	0.660 7	0.656 0	0.575 9
	DeepSleepNet^［6］	0.653 7	0.648 4	0.567 1
	U-Sleep^［7］	0.646 7	0.632 5	0.558 3
	MTSL	0.677 9	0.676 3	0.597 3

数据集	方法	准确率	F1分数	Kappa
Sleep-EDF ↓ ISRUC-S3	RF^［5］	0.411 6	0.401 5	0.264 5
	SVM^［54］	0.353 6	0.349 8	0.192 0
	Matching Network^［14］	0.598 5	0.568 6	0.498 1
	MetaSleepLearner^［3］	0.610 6	0.611 4	0.513 2
	Prototypical Network^［15］	0.652 2	0.657 0	0.565 3
	DeepSleepNet^［6］	0.636 7	0.632 9	0.545 9
	U-Sleep^［7］	0.613 8	0.609 1	0.517 2
	MTSL	0.669 2	0.669 0	0.586 4
ISRUC-S3 ↓ Sleep-EDF	RF^［5］	0.391 2	0.360 4	0.239 0
	SVM^［4］	0.475 8	0.408 6	0.344 8
	Matching Network^［14］	0.575 6	0.569 3	0.469 5
	MetaSleepLearner^［3］	0.616 3	0.614 1	0.520 3
	Prototypical Network^［15］	0.660 7	0.656 0	0.575 9
	DeepSleepNet^［6］	0.653 7	0.648 4	0.567 1
	U-Sleep^［7］	0.646 7	0.632 5	0.558 3
	MTSL	0.677 9	0.676 3	0.597 3

数据集	模型变体	准确率	F1分数	Kappa
ISRUC-S3	MTSL-SC	0.770 3	0.766 0	0.712 8
	MTSL-MC	0.769 3	0.767 2	0.711 7
	MTSL-LC	0.760 4	0.757 7	0.700 5
	MTSL-RI	0.757 6	0.753 3	0.697 0
	MTSL-PT	0.743 5	0.740 3	0.679 4
	MTSL	0.778 8	0.776 7	0.723 5
Sleep-EDF	MTSL-SC	0.781 7	0.780 8	0.727 1
	MTSL-MC	0.785 6	0.785 6	0.732 1
	MTSL-LC	0.790 2	0.790 8	0.737 8
	MTSL-RI	0.772 8	0.772 2	0.716 0
	MTSL-PT	0.775 0	0.774 2	0.718 8
	MTSL	0.798 0	0.797 2	0.747 4

小样本场景下的元迁移学习睡眠分期模型

Sleep stage classification model by meta transfer learning in few-shot scenarios

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 22

相关文章 15

编辑推荐

Metrics

[1]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[2]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[3]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[4]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[5]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[6]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[7]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[8]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[9]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.
[10]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[11]	晁浩, 封舒琪, 刘永利. 脑电情感识别中多上下文向量优化的卷积递归神经网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2041-2046.
[12]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.
[13]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[14]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[15]	张郅, 李欣, 叶乃夫, 胡凯茜. 基于暗知识保护的模型窃取防御技术DKP[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2080-2086.