基于时空Mamba模型的生理信号提取和心率测量

doi:10.11772/j.issn.1001-9081.2025070889

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (8): 2699-2707.DOI: 10.11772/j.issn.1001-9081.2025070889

• 前沿与综合应用 • 上一篇

基于时空Mamba模型的生理信号提取和心率测量

高艳¹^,², 姚育东³()

^1.宁波大学信息科学与工程学院，浙江宁波 315211
^2.宁波大学智能医学与生物医学工程研究院，浙江宁波 315211
^3.史蒂文斯理工学院电气与计算机工程系，新泽西州霍博肯 07030

收稿日期:2025-08-04 修回日期:2025-10-29 接受日期:2025-10-29 发布日期:2025-12-22 出版日期:2026-08-10
通讯作者: 姚育东
作者简介:高艳（2000—），女，河南商丘人，硕士研究生，主要研究方向：深度学习、非接触式心率测量
姚育东（1960—），男，浙江瑞安人，教授，博士，主要研究方向：人工智能、医疗物联网、智能医学。

Physiological signal extraction and heart rate measurement based on spatial-temporal Mamba model

Yan GAO¹^,², Yudong YAO³()

^1.Faculty of Information Science and Engineering，Ningbo University，Ningbo Zhejiang 315211，China
^2.Research Institute for Medical and Biological Engineering，Ningbo University，Ningbo Zhejiang 315211，China
^3.Department of Electrical and Computer Engineering，Stevens Institute of Technology，Hoboken New Jersey 07030，USA

Received:2025-08-04 Revised:2025-10-29 Accepted:2025-10-29 Online:2025-12-22 Published:2026-08-10
Contact: Yudong YAO
About author:GAO Yan， born in 2000， M. S. candidate. Her research interests include deep learning， non-contact heart rate measurement.

摘要/Abstract

摘要：

基于远程光电容积脉搏波（rPPG）技术的非接触式心率测量方法主要面临两个方面的挑战：一是准确选取面部感兴趣区域（RoI）；二是从长视频序列中准确理解rPPG的周期模式。针对现有工作中面部RoI定位不精准和未考虑到不同信号源之间的时间滞后性的问题，提出一个端到端的rPPG信号提取模型RppgMamba，用于非接触式心率测量。在该模型中，设计的具有交叉扫描机制的分层时空Mamba模块从多尺度的时空感受场中挖掘弱信号的空间感知关系，以自适应地定位面部RoI，从而避免受到背景和运动噪声等带来的干扰；而设计的频域细化模块在频域中进一步学习rPPG信号的准周期模式，以提高输出信号质量，同时结合相位补偿器对输出信号进行相位校正，减少固有时间滞后性带来的影响。实验结果表明，所提模型在三个公开数据集上获得了最佳的性能，验证了该模型对心率测量良好的精确度和适用性。

关键词: 非接触式, 心率测量, Mamba模型, 远程光电容积脉搏波技术, RGB面部视频

Abstract:

Non-contact heart rate measurement methods based on remote PhotoPlethysmoGraphy （rPPG） technology face two main challenges： the accurate selection of facial Regions of Interest （RoI）， and the precise interpretation of periodic patterns in rPPG from long video sequences. To address the inaccurate localization of facial RoI in the existing works and the neglect of temporal lag among different signal sources， an end-to-end rPPG signal extraction model， named RppgMamba， was proposed for non-contact heart rate measurement. In the model， the hierarchical spatial-temporal Mamba module with cross-scan mechanism was designed to capture spatial perception relationships of weak signals from multi-scale spatial-temporal receptive fields， so as to localize facial RoI adaptively， thereby avoiding interference from background and motion noise. And the frequency-domain refinement module was designed to further learn the quasi-periodic patterns of rPPG signals in the frequency domain， which enhanced output signal quality and corrected phase shifts of the output signals combining with phase compensator， thereby reducing the impact of inherent temporal lag. Experimental results demonstrate that the proposed model achieves the best performance on three public datasets， confirming its high accuracy and applicability in heart rate measurement.

Key words: non-contact, heart rate measurement, Mamba model, remote PhotoPlethysmoGraphy (rPPG) technology, RGB facial video

中图分类号:

TP391

高艳, 姚育东. 基于时空Mamba模型的生理信号提取和心率测量[J]. 计算机应用, 2026, 46(8): 2699-2707.

Yan GAO, Yudong YAO. Physiological signal extraction and heart rate measurement based on spatial-temporal Mamba model[J]. Journal of Computer Applications, 2026, 46(8): 2699-2707.

图/表 14

参考文献 38

[1]	Xiang G， Ou Y， Li J， et al. Recovering physiological signals from facial videos： recent advances and applications in intelligent vehicles［J］. IEEE Transactions on Intelligent Vehicles， 2024， 9（10）： 6576-6598 .
[2]	Huang B， Hu S， Liu Z， et al. Challenges and prospects of visual contactless physiological monitoring in clinical study［J］. npj Digital Medicine， 2023， 6（1）： No.231.
[3]	Zhang X， Hu M， Zhang Y， et al. Recent progress of optical imaging approaches for noncontact physiological signal measurement： a review［J］. Advanced Intelligent Systems， 2023， 5（9）： No.2200345.
[4]	Lewandowska M， Rumiński J， Kocejko T， et al. Measuring pulse rate with a webcam - a non-contact method for evaluating cardiac activity［C］// FedCSIS 2011. Piscataway： IEEE， 2011： 405-410.
[5]	Poh M Z， Mcduff D J， Picard R W. Advancements in noncontact， multiparameter physiological measurements using a webcam［J］. IEEE Transactions on Biomedical Engineering， 2010， 58（1）： 7-11.
[6]	Verkruysse W， Svaasand L O， Nelson J S. Remote plethysmographic imaging using ambient light［J］. Optics Express， 2008， 16（26）： 21434-21445.
[7]	de Haan G， Jeanne V. Robust pulse rate from chrominance-based rPPG［J］. IEEE Transactions on Biomedical Engineering， 2013， 60（10）： 2878-2886.
[8]	de Haan G， van Leest A. Improved motion robustness of remote-PPG by using the blood volume pulse signature［J］. Physiological Measurement， 2014， 35（9）： No.1913.
[9]	Wang W， Stuijk S， de Haan G. A novel algorithm for remote photoplethysmography： spatial subspace rotation［J］. IEEE Transactions on Biomedical Engineering， 2016， 63（9）： 1974-1984.
[10]	Pilz C S， Zaunseder S， Krajewski J， et al. Local group invariance for heart rate estimation from face videos in the wild［C］// CVPRW 2018. Piscataway： IEEE， 2018： 1335-1358.
[11]	Wang W， den Brinker A C， Stuijk S， et al. Algorithmic principles of remote PPG［J］. IEEE Transactions on Biomedical Engineering， 2017， 64（7）： 1479-1491.
[12]	Niu X， Yu Z， Han H， et al. Video-based remote physiological measurement via cross-verified feature disentangling［C］// ECCV 2020， LNCS 12347. Cham： Springer， 2020： 295-310.
[13]	Liu X， Zhang Y， Yu Z， et al. rPPG-MAE： Self-supervised pretraining with masked autoencoders for remote physiological measurements［J］. IEEE Transactions on Multimedia， 2024， 26： 7278-7293.
[14]	Zhong R， Zhou Y， Gou C. EST-TSANet： video-based remote heart rate measurement using temporal shift attention network and ESTmap［J］. IEEE Transactions on Instrumentation and Measurement， 2023， 73： No.5002114.
[15]	Qian W， Guo D， Li K， et al. Dual-path TokenLearner for remote photoplethysmography-based physiological measurement with facial videos［J］. IEEE Transactions on Computational Social Systems， 2024， 11（3）： 4465-4477.
[16]	Lu H， Han H， Zhou S K. Dual-GAN： joint BVP and noise modeling for remote physiological measurement［C］// CVPR 2021. Piscataway： IEEE， 2021： 12399-12408.
[17]	Yu Z， Li X， Zhao G. Remote photoplethysmograph signal measurement from facial videos using spatio-temporal networks［C］// BMVC 2019. Durham： BMVA Press， 2019： No.277.
[18]	Chen W， McDuff D. DeepPhys： video-based physiological measurement using convolutional attention networks［C］// ECCV 2018， LNCS 11206. Cham： Springer， 2018： 356-373.
[19]	Liu X， Fromm J， Patel S， et al. Multi-task temporal shift attention networks for on-device contactless vitals measurement［C］// NeurIPS 2020. Red Hook： Curran Associates Inc.， 2020： 19400-19411.
[20]	Liu X， Hill B， Jiang Z， et al. EfficientPhys： enabling simple， fast and accurate camera-based cardiac measurement［C］// WACV 2023. Piscataway： IEEE， 2023： 4997-5006.
[21]	Liu Z， Lin Y， Cao Y， et al. Swin Transformer： hierarchical Vision Transformer using shifted windows［C］// ICCV 2021. Piscataway： IEEE， 2021： 9992-10002.
[22]	Yu Z， Li X， Niu X， et al. Autohr： a strong end-to-end baseline for remote heart rate measurement with neural searching［J］. IEEE Signal Processing Letters， 2020， 27： 1245-1249.
[23]	Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］// NeurIPS 2017. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
[24]	Yu Z， Shen Y， Shi J， et al. PhysFormer： facial video-based physiological measurement with temporal difference Transformer［C］// CVPR 2022. Piscataway： IEEE， 2022： 4176-4186.
[25]	Yu Z， Shen Y， Shi J， et al. PhysFormer++： facial video-based physiological measurement with SlowFast temporal difference Transformer［J］. International Journal of Computer Vision， 2023， 131（6）： 1307-1330.
[26]	Zou B， Guo Z， Chen J， et al. RhythmFormer： extracting patterned rPPG signals based on periodic sparse attention［J］. Pattern Recognition， 2025， 164： No.111511.
[27]	Gu A， Dao T. Mamba： linear-time sequence modeling with selective state spaces［PP/OL］. V2. arXiv （2024-05-31）［2026-05-31］..
[28]	Zou B， Guo Z， Hu X， et al. RhythmMamba： fast， lightweight， and accurate remote physiological measurement［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2025， 39（10）： 11077-11085.
[29]	Luo C， Xie Y， Yu Z. PhysMamba： efficient remote physiological measurement with SlowFast temporal difference Mamba［C］// CCBR 2024， LNCS 15353. Singapore： Springer， 2024： 248-259.
[30]	Yu W， Wang X. MambaOut： do we really need Mamba for vision？［C］// CVPR 2025. Piscataway： IEEE， 2025： 4484-4496.
[31]	Guo H， Li J， Dai T， et al. MambaIR： a simple baseline for image restoration with state-space model［C］// ECCV 2024， LNCS 15076. Cham： Springer， 2025： 222-241.
[32]	Hu V T， Baumann S A， Gui M， et al. ZigMa： a DiT-style Zigzag Mamba diffusion model［C］// ECCV 2024， LNCS 15079. Cham： Springer， 2025： 148-166.
[33]	Huang T， Pei X， You S， et al. LocalMamba： visual state space model with windowed selective scan［C］// ECCVW 2024， LNCS 15633. Cham： Springer， 2025： 12-22.
[34]	Yi K， Zhang Q， Fan W， et al. Frequency-domain MLPs are more effective learners in time series forecasting［C］// NeurIPS 2023. Red Hook： Curran Associates Inc.， 2023： 76656-76679.
[35]	Stricker R， Müller S， Gross H M. Non-contact video-based pulse rate measurement on a mobile service robot［C］// ROMAN 2014. Piscataway： IEEE， 2014： 1056-1062.
[36]	Bobbia S， Macwan R， Benezeth Y， et al. Unsupervised skin tissue segmentation for remote photoplethysmography［J］. Pattern Recognition Letters， 2019， 124： 82-90.
[37]	Sabour R M， Benezeth Y， de Oliveira P， et al. UBFC-Phys： a multimodal database for psychophysiological studies of social stress［J］. IEEE Transactions on Affective Computing， 2023， 14（1）： 622-636.
[38]	Liu X， Narayanswamy G， Paruchuri A， et al. rPPG-Toolbox： deep remote PPG toolbox［C］// NeurIPS 2023. Red Hook： Curran Associates Inc.， 2023： 68485-68510.

模型	UBFC-rPPG					PURE					UBFC-Phys
模型	MAE	RMSE	MAPE/%	Corr	SNR/dB	MAE	RMSE	MAPE/%	Corr	SNR/dB	MAE	RMSE	MAPE/%	Corr	SNR/dB
TS-CAN^［19］	1.70	2.72	—	0.99	—	2.48	9.01	—	0.92	—	20.71	26.36	22.11	-0.28	-14.62
DeepPhys^［18］	6.27	10.82	—	0.65	—	0.83	1.54	—	0.99	—	20.11	25.01	21.60	-0.12	-15.74
EfficientPhys^［20］	1.14	1.81	—	0.99	—	—	—	—	—	—	24.12	34.74	27.49	-0.32	-17.66
PhysFormer^［24］	0.50	0.71	—	0.99	—	1.10	1.75	—	0.99	—	16.17	22.24	18.59	-0.08	-10.76
PhysNet^［17］	2.95	3.67	—	0.97	—	2.10	2.60	—	0.99	—	7.55	11.56	9.10	0.42	-9.55
RhythmFormer^［26］	0.50	0.78	—	0.99	—	0.27	0.47	—	0.99	—	4.96	7.59	6.26	0.60	-6.79
RhythmMamba^［28］	0.50	0.75	—	0.99	—	0.23	0.34	—	0.99	—	6.54	10.62	8.61	0.49	-5.34
PhysMamba^［29］	0.54	0.76	—	0.99	—	0.25	0.40	—	0.99	—	15.85	21.68	20.58	0.02	-11.41
RppgMamba	0.37	0.44	0.27	0.99	8.52	0.20	0.30	0.15	0.99	18.10	5.13	6.97	6.03	0.75	-5.50

模型	UBFC-rPPG					PURE					UBFC-Phys
模型	MAE	RMSE	MAPE/%	Corr	SNR/dB	MAE	RMSE	MAPE/%	Corr	SNR/dB	MAE	RMSE	MAPE/%	Corr	SNR/dB
TS-CAN^［19］	1.70	2.72	—	0.99	—	2.48	9.01	—	0.92	—	20.71	26.36	22.11	-0.28	-14.62
DeepPhys^［18］	6.27	10.82	—	0.65	—	0.83	1.54	—	0.99	—	20.11	25.01	21.60	-0.12	-15.74
EfficientPhys^［20］	1.14	1.81	—	0.99	—	—	—	—	—	—	24.12	34.74	27.49	-0.32	-17.66
PhysFormer^［24］	0.50	0.71	—	0.99	—	1.10	1.75	—	0.99	—	16.17	22.24	18.59	-0.08	-10.76
PhysNet^［17］	2.95	3.67	—	0.97	—	2.10	2.60	—	0.99	—	7.55	11.56	9.10	0.42	-9.55
RhythmFormer^［26］	0.50	0.78	—	0.99	—	0.27	0.47	—	0.99	—	4.96	7.59	6.26	0.60	-6.79
RhythmMamba^［28］	0.50	0.75	—	0.99	—	0.23	0.34	—	0.99	—	6.54	10.62	8.61	0.49	-5.34
PhysMamba^［29］	0.54	0.76	—	0.99	—	0.25	0.40	—	0.99	—	15.85	21.68	20.58	0.02	-11.41
RppgMamba	0.37	0.44	0.27	0.99	8.52	0.20	0.30	0.15	0.99	18.10	5.13	6.97	6.03	0.75	-5.50

模型	训练数据集	测试数据集
		UBFC-rPPG					PURE					UBFC-Phys
		MAE	RMSE	MAPE/%	Corr	SNR/dB	MAE	RMSE	MAPE/%	Corr	SNR/dB	MAE	RMSE	MAPE/%	Corr	SNR/dB
TS-CAN	UBFC-rPPG	—	—	—	—	—	3.69	13.80	3.39	0.82	5.26	4.95	9.32	5.68	0.71	-1.62
TS-CAN	PURE	1.30	2.87	1.50	0.99	1.49	—	—	—	—	—	6.32	11.51	7.28	0.59	-3.86
DeepPhys	UBFC-rPPG	—	—	—	—	—	5.54	18.51	5.32	0.66	4.40	10.10	17.81	11.28	0.35	-3.22
DeepPhys	PURE	1.21	2.90	1.42	0.99	1.74	—	—	—	—	—	10.57	17.15	11.87	0.36	-4.06
EfficientPhys	UBFC-rPPG	—	—	—	—	—	5.47	17.04	5.40	0.71	4.09	8.12	17.67	8.80	0.32	-1.37
EfficientPhys	PURE	2.07	6.32	2.10	0.94	-0.12	—	—	—	—	—	7.78	17.23	8.55	0.36	-2.21
PhysFormer	UBFC-rPPG	—	—	—	—	—	12.92	24.36	23.92	0.47	2.16	5.11	8.79	6.35	0.70	-2.71
PhysFormer	PURE	1.44	3.77	1.66	0.98	0.18	—	—	—	—	—	4.20	8.31	4.97	0.72	-1.38
PhysNet	UBFC-rPPG	—	—	—	—	—	8.06	19.71	13.67	0.61	6.68	2.98	5.69	3.78	0.88	-0.23
PhysNet	PURE	0.98	2.48	1.12	0.99	1.49	—	—	—	—	—	3.39	6.72	4.00	0.81	-0.80
RhythmFormer	UBFC-rPPG	—	—	—	—	—	0.97	3.36	1.60	0.99	12.01	3.69	6.64	4.69	0.84	-1.08
RhythmFormer	PURE	0.89	1.83	0.97	0.99	6.05	—	—	—	—	—	3.94	6.89	5.06	0.83	-0.47
RhythmMamba	UBFC-rPPG	—	—	—	—	—	1.98	6.51	3.59	0.96	8.94	4.03	8.28	5.21	0.73	-0.73
RhythmMamba	PURE	0.95	1.83	1.04	0.99	6.35	—	—	—	—	—	3.82	7.21	4.85	0.80	0.05
PhysMamba	UBFC-rPPG	—	—	—	—	—	1.20	5.99	—	0.97	—	6.85	13.82	10.50	0.57	-2.86
PhysMamba	PURE	0.97	1.93	—	0.99	—	—	—	—	—	—	7.41	14.38	10.76	0.49	-1.70
RppgMamba	UBFC-rPPG	—	—	—	—	—	1.31	6.54	1.48	0.96	11.82	2.52	4.70	3.51	0.89	1.03
RppgMamba	PURE	0.68	1.32	0.90	0.99	6.53	—	—	—	—	—	3.04	6.51	3.75	0.84	0.92

模型	训练数据集	测试数据集
		UBFC-rPPG					PURE					UBFC-Phys
		MAE	RMSE	MAPE/%	Corr	SNR/dB	MAE	RMSE	MAPE/%	Corr	SNR/dB	MAE	RMSE	MAPE/%	Corr	SNR/dB
TS-CAN	UBFC-rPPG	—	—	—	—	—	3.69	13.80	3.39	0.82	5.26	4.95	9.32	5.68	0.71	-1.62
TS-CAN	PURE	1.30	2.87	1.50	0.99	1.49	—	—	—	—	—	6.32	11.51	7.28	0.59	-3.86
DeepPhys	UBFC-rPPG	—	—	—	—	—	5.54	18.51	5.32	0.66	4.40	10.10	17.81	11.28	0.35	-3.22
DeepPhys	PURE	1.21	2.90	1.42	0.99	1.74	—	—	—	—	—	10.57	17.15	11.87	0.36	-4.06
EfficientPhys	UBFC-rPPG	—	—	—	—	—	5.47	17.04	5.40	0.71	4.09	8.12	17.67	8.80	0.32	-1.37
EfficientPhys	PURE	2.07	6.32	2.10	0.94	-0.12	—	—	—	—	—	7.78	17.23	8.55	0.36	-2.21
PhysFormer	UBFC-rPPG	—	—	—	—	—	12.92	24.36	23.92	0.47	2.16	5.11	8.79	6.35	0.70	-2.71
PhysFormer	PURE	1.44	3.77	1.66	0.98	0.18	—	—	—	—	—	4.20	8.31	4.97	0.72	-1.38
PhysNet	UBFC-rPPG	—	—	—	—	—	8.06	19.71	13.67	0.61	6.68	2.98	5.69	3.78	0.88	-0.23
PhysNet	PURE	0.98	2.48	1.12	0.99	1.49	—	—	—	—	—	3.39	6.72	4.00	0.81	-0.80
RhythmFormer	UBFC-rPPG	—	—	—	—	—	0.97	3.36	1.60	0.99	12.01	3.69	6.64	4.69	0.84	-1.08
RhythmFormer	PURE	0.89	1.83	0.97	0.99	6.05	—	—	—	—	—	3.94	6.89	5.06	0.83	-0.47
RhythmMamba	UBFC-rPPG	—	—	—	—	—	1.98	6.51	3.59	0.96	8.94	4.03	8.28	5.21	0.73	-0.73
RhythmMamba	PURE	0.95	1.83	1.04	0.99	6.35	—	—	—	—	—	3.82	7.21	4.85	0.80	0.05
PhysMamba	UBFC-rPPG	—	—	—	—	—	1.20	5.99	—	0.97	—	6.85	13.82	10.50	0.57	-2.86
PhysMamba	PURE	0.97	1.93	—	0.99	—	—	—	—	—	—	7.41	14.38	10.76	0.49	-1.70
RppgMamba	UBFC-rPPG	—	—	—	—	—	1.31	6.54	1.48	0.96	11.82	2.52	4.70	3.51	0.89	1.03
RppgMamba	PURE	0.68	1.32	0.90	0.99	6.53	—	—	—	—	—	3.04	6.51	3.75	0.84	0.92

帧差融合块	RSSB	频域细化模块	MAE	RMSE	MAPE/%	Corr	SNR/dB
×	√	√	7.37	12.57	8.64	0.60	-4.77
√	×	√	3.96	7.40	5.09	0.79	-1.18
√	√	vanilla	5.71	11.19	6.52	0.62	-2.84
√	√	√	2.52	4.70	3.51	0.89	1.03

基于时空Mamba模型的生理信号提取和心率测量

Physiological signal extraction and heart rate measurement based on spatial-temporal Mamba model

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 38

相关文章 1

编辑推荐

Metrics

RSSB	MAE	RMSE	MAPE/%	Corr	SNR/dB
双向扫描	3.06	4.89	4.01	0.85	0.67
交叉扫描	2.52	4.70	3.51	0.89	1.03
局部扫描	2.95	6.05	3.84	0.66	0.53
Z字型扫描	3.18	7.20	3.73	0.72	0.37

模型	输入（T×C×H×W）	参数量/10⁶	乘法累加运算量（GMACs）	FLOPs/10⁹	在GPU上的推理时间/ms
TS-CAN^［19］	180×3×72×72	2.23	40.87	81.98	10.298
DeepPhys^［18］	180×3×72×72	2.23	40.87	81.98	9.767
EfficientPhys^［20］	180×3×72×72	2.16	20.64	41.42	6.098
PhysFormer^［24］	160×3×128×128	7.38	50.28	101.16	25.088
PhysNet^［17］	128×3×72×72	0.77	17.56	35.26	3.396
RhythmFormer^［26］	160×3×128×128	3.33	38.16	76.88	16.690
RhythmMamba^［28］	160×3×128×128	5.14	13.17	26.48	268.971
PhysMamba^［29］	128×3×128×128	0.73	48.50	97.51	21.842
RppgMamba	128×3×128×128	1.34	30.36	67.22	24.958

数据集	左脸颊	右脸颊	额头	下巴	总体
UBFC-rPPG	25.2	33.8	14.7	17.5	91.2
PURE	32.5	28.6	16.3	13.4	90.8

数据集	左脸颊	右脸颊	额头	下巴	总体
UBFC-rPPG	25.2	33.8	14.7	17.5	91.2
PURE	32.5	28.6	16.3	13.4	90.8