Multi-branch multi-view based contextual contrastive representation learning method for time series

doi:10.11772/j.issn.1001-9081.2024040448

Journal of Computer Applications ›› 2025, Vol. 45 ›› Issue (4): 1042-1052.DOI: 10.11772/j.issn.1001-9081.2024040448

• Artificial intelligence • Previous Articles Next Articles

Multi-branch multi-view based contextual contrastive representation learning method for time series

Guangju YANG¹^,², Tianjian LUO¹^,²(), Kaijun WANG¹^,², Siqi YANG¹^,²

^1.College of Computer and Cyber Security，Fujian Normal University，Fuzhou Fujian 350117，China
^2.Digital Fujian Internet-of-Thing Laboratory of Environmental Monitoring （Fujian Normal University），Fuzhou Fujian 350117，China

Received:2024-04-15 Revised:2024-06-25 Accepted:2024-06-28 Online:2025-04-08 Published:2025-04-10
Contact: Tianjian LUO
About author:YANG Guangju， born in 1999， M. S. candidate. His research interests include time-series analysis， pattern recognition.
LUO Tianjian， born in 1990， Ph. D.， associate professor. His research interests include pattern recognition， brain-computer interface， electroencephalograph signal processing.
WANG Kaijun， born in 1965， Ph. D.， associate professor. His research interests include intelligent learning and reasoning.
YANG Siqi， born in 2000， M. S. candidate. Her research interests include brain-computer interface， pattern recognition.
Supported by:
National Natural Science Foundation of China(62106049);Natural Science Foundation of Fujian Province(2022J01655)

多分支多视图的时间序列上下文对比表征学习方法

杨光局¹^,², 罗天健¹^,²(), 王开军¹^,², 杨思琪¹^,²

^1.福建师范大学计算机与网络空间安全学院，福州 350117
^2.数字福建环境监测物联网实验室（福建师范大学），福州 350117

通讯作者: 罗天健
作者简介:杨光局（1999—），男，福建三明人，硕士研究生，主要研究方向：时间序列分析、模式识别
罗天健（1990—），男，湖北黄冈人，副教授，博士，主要研究方向：模式识别、脑机接口、脑电信号分析
王开军（1965—），男，浙江温州人，副教授，博士，主要研究方向：智能学习与推理
杨思琪（2000—），女，湖南衡阳人，硕士研究生，主要研究方向：脑机接口、模式识别。
基金资助:
国家自然科学基金资助项目(62106049);福建省自然科学基金资助项目(2022J01655)

Abstract

Abstract:

Time series data are applied in various industries. However， the lack of label information and the complex temporal-spectral variations pose challenges for learning representations of time series. Therefore， a Multi-Branch Multi-View contextual Contrastive Representation Learning （MBMVCRL） method for time series was proposed. Firstly， time series samples were enhanced from both time and frequency perspectives and then input into a multi-branch multi-view model to extract multi-perspective feature representations of the time series. Secondly， for contrastive representation learning， the contextual contrastive loss and cross-prediction loss were calculated on the basis of the feature representations from the two perspectives， and joint training was conducted to obtain the optimal feature representation. Finally， to validate the representation capability of the proposed method for time series， an Affine Nonnegative Collaborative Representation （ANCR） classifier was used for the down-stream classification tasks. Experimental results show that the proposed method improves the recognition accuracy by 5.15， 0.90， and 1.89 percentage points， respectively， compared to the mainstream Time-Series Temporal and Contextual Contrasting （TS-TCC） method in human action， epilepsy， and sleep state recognition tasks. Ablation experimental results demonstrate the importance of the multi-branch multi-view model， highlighting the proposed model’s characteristics of low parameter sensitivity， fast convergence， and good generalization across different time series applications.

Key words: time series, self-supervised learning, contrastive representation learning, multi-branch, multi-view

摘要：

时间序列数据在众多行业中拥有广泛应用，然而受限于标注信息的缺失和复杂的时频域多变性，针对时间序列的表征学习成为一项挑战性任务。因此，提出一种用于时间序列的多分支多视图的上下文对比表征学习（MBMVCRL）方法。首先，从时频这2个视角增强时间序列样本，并把结果分别输入多分支多视图模型，从而提取时间序列的多视角特征表达；其次，为进行对比表征学习，分别根据2个视角的特征表达，计算上下文对比误差和交叉预测误差，并联合训练以获取最优的特征表达；最后，为验证所提方法对时间序列的表征能力，采用仿射非负协同表征（ANCR）分类器进行下游的分类任务。实验结果表明，相较于主流的时间序列时序上下文对比学习（TS-TCC）方法，所提方法在人体动作、癫痫和睡眠状态识别任务上的识别准确率分别提升了5.15、0.90和1.89百分点。消融实验结果则表明了多分支多视图模型的重要性，强调了所提模型拥有的参数敏感性不高和收敛快的特点，可见所提模型在不同时间序列应用上具有不错的泛化性。

关键词: 时间序列, 自监督学习, 对比表征学习, 多分支, 多视图

CLC Number:

TP391

Guangju YANG, Tianjian LUO, Kaijun WANG, Siqi YANG. Multi-branch multi-view based contextual contrastive representation learning method for time series[J]. Journal of Computer Applications, 2025, 45(4): 1042-1052.

杨光局, 罗天健, 王开军, 杨思琪. 多分支多视图的时间序列上下文对比表征学习方法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1042-1052.

Figures/Tables 17

References 34

1	MEISENBACHER S， TUROWSKI M， PHIPPS K， et al. Review of automated time series forecasting pipelines［J］. WIREs Data Mining and Knowledge Discovery， 2022， 12（6）： No.e1475.
2	王开军，曾元鹏，缪忠剑. 差异区域平衡法探索时间序列变化的因果关系［J］. 电子与信息学报， 2021， 43（8）：2414-2420.
	WANG K J， ZENG Y P， MIU Z J. Different-region balance method for exploring varying causal relations between time series［J］. Journal of Electronics and Information Technology， 2021， 43（8）：2414-2420.
3	CHING T， HIMMELSTEIN D S， BEAULIEU-JONES B K， et al. Opportunities and obstacles for deep learning in biology and medicine［J］. Journal of The Royal Society Interface， 2018， 15（141）： No.20170387.
4	ZHANG X， GAO Y， LIN J， et al. TapNet： multivariate time series classification with attentional prototypical network［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 6845-6852.
5	CHEN T， KORNBLITH S， NOROUZI M， et al. A simple framework for contrastive learning of visual representations［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR.org， 2020： 1597-1607.
6	ZHANG X， LUO T， HAN T， et al. A novel performance degradation prognostics approach and its application on ball screw［J］. Measurement， 2022， 195： No.111184.
7	周业瀚，沈子钰，周清，等. 基于生成式对抗网络的自监督多元时间序列异常检测方法［J］. 南京大学学报（自然科学）， 2023， 59（2）：256-262.
	ZHOU Y H， SHEN Z Y， ZHOU Q， et al. Self-supervised multivariate time series anomaly detection based on GAN［J］. Journal of Nanjing University （Natural Science）， 2023， 59（2）：256-262.
8	HE K， FAN H， WU Y， et al. Momentum contrast for unsupervised visual representation learning［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 9726-9735.
9	ELDELE E， RAGAB M， CHEN Z， et al. Time-series representation learning via temporal and contextual contrasting［C］// Proceedings of the 13th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2021： 2352-2359.
10	ELDELE E， CHEN Z， LIU C， et al. An attention-based deep learning approach for sleep stage classification with single-channel EEG［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2021， 29： 809-818.
11	何坚，郭泽龙，刘乐园，等. 基于滑动窗口和卷积神经网络的可穿戴人体活动识别技术［J］. 电子与信息学报， 2022， 44（1）： 168-177.
	HE J， GUO Z L， LIU L Y， et al. Human activity recognition technology based on sliding window and convolutional neural network［J］. Journal of Electronics and Information Technology， 2022， 44（1）： 168-177.
12	WANG X， DU Y， VERBERNE S， et al. Improving weakly supervised phrase grounding via visual representation contextualization with contrastive learning［J］. Applied Intelligence， 2023， 53（11）： 14690-14702.
13	GRILL J B， STRUB F， ALTCHÉ F， et al. Bootstrap your own latent — a new approach to self-supervised learning［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2020： 21271-21284.
14	CHEN X， HE K. Exploring simple Siamese representation learning［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 15745-15753.
15	GE C， WANG J， TONG Z， et al. Soft neighbors are positive supporters in contrastive visual representation learning［EB/OL］. ［2024-03-12］..
16	SARKAR P， ETEMAD A. Self-supervised ECG representation learning for emotion recognition［J］. IEEE Transactions on Affective Computing， 2020， 13（3）：1541-1554.
17	VAN DEN OORD A， LI Y， VINYALS O. Representation learning with contrastive predictive coding［EB/OL］. ［2024-03-12］..
18	LIU Y Y， LIU J W. The time-sequence prediction via temporal and contextual contrastive representation learning［C］// Proceedings of the 2022 Pacific Rim International Conference on Artificial Intelligence， LNCS 13629. Cham： Springer， 2022： 465-476.
19	KUMAR V， REDDY L， SHARMA S K， et al. mulEEG： A multi-view representation learning on EEG signals［C］// Proceedings of the 2022 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 13433. Cham： Springer， 2022： 398-407.
20	JIA Z， LIN Y， WANG J， et al. MMCNN： a multi-branch multi-scale convolutional neural network for motor imagery classification［C］// Proceedings of the 2020 European Conference on Machine Learning and Knowledge Discovery in Databases， LNCS 12459. Cham： Springer， 2021： 736-751.
21	LIU X， XIONG S， WANG X， et al. A compact multi-branch 1D convolutional neural network for EEG-based motor imagery classification［J］. Biomedical Signal Processing and Control， 2023， 81： No.104456.
22	WAMG Z， YAN W， OATES T. Time series classification from scratch with deep neural networks： a strong baseline［C］// Proceedings of the 2017 International Joint Conference on Neural Networks. Piscataway： IEEE， 2017： 1578-1585.
23	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.
24	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
25	WANG Q， LI B， XIAO T， et al. Learning deep transformer models for machine translation［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2019： 1810-1822.
26	BROUHNS N， DENUIT M， VERMUNT J K. A Poisson log-bilinear regression approach to the construction of projected lifetables［J］. Insurance： Mathematics and Economics， 2002， 31（3）： 373-393.
27	DEMPSTER A， PETITJEAN F， WEBB G I. ROCKET： exceptionally fast and accurate time series classification using random convolutional kernels［J］. Data Mining and Knowledge Discovery， 2020， 34： 1454-1495.
28	XIAO Z， XU X， ZHANG H， et al. A new multi-process collaborative architecture for time series classification［J］. Knowledge-Based Systems， 2021， 220： No.106934.
29	YIN H F， WU X J， FENG Z H， et al. Affine non-negative collaborative representation based pattern classification［EB/OL］. ［2024-03-12］. .
30	ANGUITA D， GHIO A， ONETO L， et al. A public domain dataset for human activity recognition using smartphones［EB/OL］. ［2024-03-12］..
31	ANDRZEJAK R G， LEHNERTZ K， MORMANN F， et al. Indications of nonlinear deterministic and finite-dimensional structures in time series of brain electrical activity： dependence on recording region and brain state［J］. Physical Review E， 2001， 64（6）： No.061907.
32	GOLDBERGER A L， AMARAL L A N， GLASS L， et al. PhysioBank， PhysioToolkit， and PhysioNet： components of a new research resource for complex physiologic signals［J］. Circulation， 2000， 101（23）： e215-e220.
33	FUREY T S， CRISTIANINI N， DUFFY N， et al. Support vector machine classification and validation of cancer tissue samples using microarray expression data［J］. Bioinformatics， 2000， 16（10）： 906-914.
34	肖晓琳，辛风然，梅杰，等. 自适应脑机接口研究综述［J］. 电子与信息学报， 2023， 45（7）：2386-2394.
	XIAO X L， XIN F R， MEI J， et al. A review of adaptive brain-computer interface research［J］. Journal of Electronics and Information Technology， 2023， 45（7）：2386-2394.

分支	Conv1d			MaxPool1d
分支	kernel_size	stride	padding	kernel_size	stride	padding
分支1	（1，20）	3	10	（1，2）	2	1
	（1，8）	1	4	（1，2）	2	1
	（1，8）	1	4	（1，2）	2	1
分支2	（1，25）	3	12	（1，2）	2	1
	（1，8）	1	4	（1，2）	2	1
	（1，8）	1	4	（1，2）	2	1
分支3	（1，30）	3	15	（1，2）	2	1
	（1，8）	1	4	（1，2）	2	1
	（1，8）	1	4	（1，2）	2	1

分支	Conv1d			MaxPool1d
分支	kernel_size	stride	padding	kernel_size	stride	padding
分支1	（1，20）	3	10	（1，2）	2	1
	（1，8）	1	4	（1，2）	2	1
	（1，8）	1	4	（1，2）	2	1
分支2	（1，25）	3	12	（1，2）	2	1
	（1，8）	1	4	（1，2）	2	1
	（1，8）	1	4	（1，2）	2	1
分支3	（1，30）	3	15	（1，2）	2	1
	（1，8）	1	4	（1，2）	2	1
	（1，8）	1	4	（1，2）	2	1

操作	kernel_size	stride	padding
Conv2d	（3，3）	1	1
MaxPool2d	（3，3）	2	0

操作	kernel_size	stride	padding
Conv2d	（3，3）	1	1
MaxPool2d	（3，3）	2	0

对比方法	HAR		Epilepsy		Sleep-EDF
对比方法	准确率	MF1	准确率	MF1	准确率	MF1
SSL-ECG	65.34±1.63	63.75±1.37	93.72±0.45	89.15±0.93	74.58±0.60	65.44±0.97
CPC	83.85±1.51	83.27±1.66	96.61±0.43	94.44±0.69	82.82±1.68	73.94±1.75
SimCLR	80.97±2.46	80.19±2.64	96.05±0.34	93.53±0.63	78.91±3.11	68.60±2.71
TS-TCC	90.37±0.34	90.38±0.39	97.23±0.10	95.54±0.08	83.00±0.71	73.57±0.74
本文方法+SVM	93.82±0.40	94.05±0.46	97.35±0.32	95.90±0.52	84.89±0.25	75.77±0.27
本文方法+ANCR	95.52±0.26	95.71±0.21	98.13±0.38	97.07±0.61	—	—

Multi-branch multi-view based contextual contrastive representation learning method for time series

多分支多视图的时间序列上下文对比表征学习方法

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 17

References 34

Related Articles 15

Recommended Articles

Metrics

方法	准确率	MF1
TS-TCC*	52.91±6.72	43.46±8.63
TS-TCC**	72.32±2.54	65.59±2.52
TS-TCC	74.49±0.72	65.48±0.61
本文方法+SVM	79.94±0.65	65.66±0.94
本文方法+ANCR	81.93±0.24	71.54±0.59

实验设置	HAR		Epilepsy		Sleep-EDF
实验设置	特征表达	特征分类	特征表达	特征分类	特征表达	特征分类
TS-TCC+SVM	568	0.07	211	0.05	3 317	0.22
TS-TCC+ANCR	568	0.17	211	0.13	3 317	0.32
本文方法+SVM	889	0.12	764	0.04	15 746	0.31
本文方法+ANCR	889	0.21	764	0.19	15 746	0.47

特征表达	分类器	HAR		Epilepsy		Sleep-EDF
特征表达	分类器	准确率	MF1	准确率	MF1	准确率	MF1
单分支时域视图	SVM	87.92±0.33	87.75±0.42	96.43±0.45	94.48±0.65	83.34±0.24	73.30±0.33
单分支时域视图	ANCR	92.94±0.74	93.17±1.10	97.13±0.30	95.56±0.49	—	—
频域视图	SVM	88.53±0.63	88.68±0.81	97.09±0.29	95.42±0.42	83.78±0.26	76.76±0.31
频域视图	ANCR	93.32±0.54	93.72±1.12	97.61±0.24	96.20±0.38	—	—
多分支时域视图	SVM	93.86±3.51	94.11±3.82	97.17±0.37	95.51±0.55	84.77±0.42	76.63±0.70
多分支时域视图	ANCR	93.99±1.38	94.43±1.49	97.96±0.36	96.84±0.51	—	—
多分支时频域视图	SVM	93.82±0.40	94.05±0.46	97.35±0.32	95.90±0.52	84.89±0.25	75.77±0.27
多分支时频域视图	ANCR	95.52±0.26	95.71±0.21	98.13±0.38	97.07±0.61	—	—

样本增强	分类器	HAR		Epilepsy		Sleep-EDF
样本增强	分类器	准确率	MF1	准确率	MF1	准确率	MF1
仅“弱增强”	SVM	87.75±0.47	87.63±0.86	96.44±0.35	94.08±0.58	81.33±0.43	75.65±1.66
仅“弱增强”	ANCR	93.35±0.23	96.17±0.65	97.70±1.29	96.17±2.11	—	—
仅“强增强”	SVM	92.54±1.21	92.83±1.87	96.91±0.67	94.89±0.74	82.16±0.32	77.19±1.25
仅“强增强”	ANCR	94.74±0.54	95.02±0.73	97.43±0.71	95.72±0.84	—	—
“强、弱增强”	SVM	93.82±0.40	94.05±0.46	97.35±0.32	95.90±0.52	84.89±0.25	75.77±0.27
“强、弱增强”	ANCR	95.52±0.26	95.71±0.21	98.13±0.38	97.07±0.61	—	—

[1]	Weichao DANG, Xinyu WEN, Gaimei GAO, Chunxia LIU. Multi-view and multi-scale contrastive learning for graph collaborative filtering [J]. Journal of Computer Applications, 2025, 45(4): 1061-1068.
[2]	Junyi ZHU, Leilei CHANG, Xiaobin XU, Zhiyong HAO, Haiyue YU, Jiang JIANG. Self-supervised learning method using minimal prior knowledge [J]. Journal of Computer Applications, 2025, 45(4): 1035-1041.
[3]	Qianting ZHANG, Liying HU, Lifei CHEN. Robust shapelet representation method for time series [J]. Journal of Computer Applications, 2025, 45(2): 436-443.
[4]	Hanlin ZHANG, Junlu WANG, Baoyan SONG. Time series event classification method fused with derived features [J]. Journal of Computer Applications, 2025, 45(2): 428-435.
[5]	Yan LI, Guanhua YE, Yawen LI, Meiyu LIANG. Enterprise ESG indicator prediction model based on richness coordination technology [J]. Journal of Computer Applications, 2025, 45(2): 670-676.
[6]	Siqi ZHANG, Jinjun ZHANG, Tianyi WANG, Xiaolin QIN. Deep temporal event detection algorithm based on signal temporal logic [J]. Journal of Computer Applications, 2025, 45(1): 90-97.
[7]	Jianpeng HU, Lichen ZHANG. Deep spatio-temporal network model for multi-time step wind power prediction [J]. Journal of Computer Applications, 2025, 45(1): 98-105.
[8]	Zijun MIAO, Fei LUO, Weichao DING, Wenbo DONG. Traffic signal control algorithm based on overall state prediction and fair experience replay [J]. Journal of Computer Applications, 2025, 45(1): 337-344.
[9]	Zhuoyue OU, Xiuqin DENG, Lei CHEN. Self-adaptive multi-view clustering algorithm with complementarity based on weighted anchors [J]. Journal of Computer Applications, 2025, 45(1): 115-126.
[10]	Shunyong LI, Shiyi LI, Rui XU, Xingwang ZHAO. Incomplete multi-view clustering algorithm based on self-attention fusion [J]. Journal of Computer Applications, 2024, 44(9): 2696-2703.
[11]	Liting LI, Bei HUA, Ruozhou HE, Kuang XU. Multivariate time series prediction model based on decoupled attention mechanism [J]. Journal of Computer Applications, 2024, 44(9): 2732-2738.
[12]	Qinzhuang ZHAO, Hongye TAN. Time series causal inference method based on adaptive threshold learning [J]. Journal of Computer Applications, 2024, 44(9): 2660-2666.
[13]	Tingjie TANG, Jiajin HUANG, Jin QIN. Session-based recommendation with graph auxiliary learning [J]. Journal of Computer Applications, 2024, 44(9): 2711-2718.
[14]	Lilin FAN, Fukang CAO, Wanting WANG, Kai YANG, Zhaoyu SONG. Intermittent demand forecasting method based on adaptive matching of demand patterns [J]. Journal of Computer Applications, 2024, 44(9): 2747-2755.
[15]	Yao DONG, Yixue FU, Yongfeng DONG, Jin SHI, Chen CHEN. Survey of incomplete multi-view clustering [J]. Journal of Computer Applications, 2024, 44(6): 1673-1682.