基于非全局依赖积分回归的轻量姿态估计网络

doi:10.11772/j.issn.1001-9081.2024030369

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (3): 972-977.DOI: 10.11772/j.issn.1001-9081.2024030369

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于非全局依赖积分回归的轻量姿态估计网络

佘本杰¹, 苏树智¹, 朱彦敏²(), 华健¹, 王超¹

^1.安徽理工大学计算机科学与工程学院，安徽淮南 232001
^2.安徽理工大学机电工程学院，安徽淮南 232001

收稿日期:2024-04-02 修回日期:2024-06-04 接受日期:2024-06-11 发布日期:2024-07-24 出版日期:2025-03-10
通讯作者: 朱彦敏
作者简介:佘本杰（1999—），男，安徽滁州人，硕士研究生，主要研究方向：姿态估计、行为识别
苏树智（1987—），男，山东泰安人，副教授，博士，主要研究方向：计算机视觉、故障诊断
华健（1998—），男，江苏南京人，硕士研究生，主要研究方向：计算机视觉
王超（1998—），男，江苏常州人，硕士研究生，主要研究方向：计算机视觉。
基金资助:
国家自然科学基金资助项目(52374155);安徽省高等学校自然科学研究项目（重大项目）(2022AH040113);安徽省自然科学基金资助项目(2308085MF218);安徽理工大学研究生创新基金资助项目(2023cx2132)

Lightweight pose estimation network based on non-globally dependent integral regression

Benjie SHE¹, Shuzhi SU¹, Yanmin ZHU²(), Jian HUA¹, Chao WANG¹

^1.School of Computer Science and Engineering，Anhui University of Science and Technology，Huainan Anhui 232001，China
^2.School of Mechatronics Engineering，Anhui University of Science and Technology，Huainan Anhui 232001，China

Received:2024-04-02 Revised:2024-06-04 Accepted:2024-06-11 Online:2024-07-24 Published:2025-03-10
Contact: Yanmin ZHU
About author:SHE Benjie， born in 1999， M. S. candidate. His research interests include pose estimation， behavior recognition.
SU Shuzhi， born in 1987， Ph. D.， associate professor. His research interests include computer vision， fault diagnosis.
HUA Jian， born in 1998， M. S. candidate. His research interests include computer vision.
WANG Chao， born in 1998， M. S. candidate. His research interests include computer vision.
Supported by:
National Natural Science Foundation of China(52374155);Natural Science Research Project of Colleges and Universities in Anhui Province （Major Project）(2022AH040113);Anhui Provincial Natural Science Foundation(2308085MF218);Anhui University of Science and Technology Graduate Innovation Foundation(2023cx2132)

摘要/Abstract

摘要：

基于热图检测的人体姿态估计网络取得了巨大的成功，然而由于冗余计算、量化误差以及热图解码的需求，基于热图检测的方法参数量较大。针对上述问题，设计基于非全局依赖积分回归的轻量姿态估计网络（Lite-NIRNet）。Lite-NIRNet通过局部卷积（PConv）降低网络的冗余计算，从而使网络更加轻量。为缓解PConv导致的信息丢失问题，引入坐标注意力（CA）机制融合跨通道特征，以提升网络性能。此外，设计非全局依赖的积分回归（NIR）模块，通过该模块，网络可以融入坐标进行监督，从而减少量化误差对网络性能的影响。所提的NIR可有效降低传统积分回归在期望计算时产生的偏差，从而兼顾更好的学习梯度和更低的偏差。实验结果表明，Lite-NIRNet与较先进的高分辨率网络（HRNet）相比，在COCO验证集上的参数量和计算量分别降低了73.0%和63.4%，平均精度均值（mAP）不需要额外的热图解码即可达到72.8%；在MPII验证集上，Lite-NIRNet在网络性能和复杂度之间也能实现良好的平衡。

关键词: 姿态估计, 高分辨率网络, 局部卷积, 坐标注意力, 积分回归

Abstract:

Significant success has been achieved in human pose estimation networks based on heatmap detection. However， the methods based on heatmap detection has a large number of parameters due to redundant computations， quantization errors， and the requirement of heatmap decoding. To address these issues， a Lightweight pose estimation Network based on Non-globally dependent Integral Regression （Lite-NIRNet） was designed to reduce redundant computations in the network by employing Partial Convolution （PConv）， which made the network more lightweight. To respond to the information loss caused by PConv， a Coordinate Attention （CA） mechanism was introduced to fuse inter-channel features， thereby enhancing the network performance. Additionally， a Non-globally dependent Integral Regression （NIR） module was designed to incorporate coordinate supervision to the network， which reduced the influence of quantization errors on network performance. The proposed NIR was able to reduce the bias produced by traditional integral regression during expectation calculations effectively， balancing better learning gradients with lower bias. Experimental results show that compared with the advanced High-Resolution Network （HRNet）， Lite-NIRNet reduces the number of parameters and computational complexity by 73.0% and 63.4%， respectively， on COCO validation set， and achieves the mean Average Precision （mAP） of 72.8% without additional heatmap decoding. Furthermore， on MPII validation set， Lite-NIRNet can also achieve a good balance between network performance and complexity.

Key words: pose estimation, High-Resolution Network (HRNet), Partial Convolution (PConv), Coordinate Attention (CA), integral regression

中图分类号:

TP391.4

佘本杰, 苏树智, 朱彦敏, 华健, 王超. 基于非全局依赖积分回归的轻量姿态估计网络[J]. 计算机应用, 2025, 45(3): 972-977.

Benjie SHE, Shuzhi SU, Yanmin ZHU, Jian HUA, Chao WANG. Lightweight pose estimation network based on non-globally dependent integral regression[J]. Journal of Computer Applications, 2025, 45(3): 972-977.

图/表 9

图1 Lite-NIRNet的结构

Fig. 1 Structure of Lite-NIRNet

图2 PCA Block的结构

Fig. 2 Structure of PCA Block

图3 不同β系数的Softmax结果对比

Fig. 3 Comparison of Softmax results with different β coefficients

表1 在COCO验证集上不同方法的实验结果对比

Tab. 1 Comparison of experimental results of different methods on COCO validation set

方法	输入尺寸	参数量/10⁶	计算量/GFLOPs	mAP/%	$A P 50$ /%	$A P 75$ /%	$A P M$ /%	$A P L$ /%	$A R$ /%
IPR^［8］	256×256	45.0	11.0	67.2	—	—	—	—	—
CPN^［19］	256×192	27.0	6.2	69.4	—	—	—	—	—
Hourglass^［20］	256×192	25.1	14.3	66.9	—	—	—	—	—
Simple Baseline^［21］	256×192	34.0	8.9	70.4	88.6	78.3	67.1	77.2	76.3
HRNet^［5］	256×192	28.5	7.1	73.4	89.5	80.7	70.2	80.1	78.9
Lite-HRNet^［7］	256×192	1.1	0.2	64.8	86.7	73.0	62.1	70.5	71.2
Lite-NIRNet	256×192	7.7	2.6	72.8	89.5	80.0	69.5	79.5	78.0

表1 在COCO验证集上不同方法的实验结果对比

Tab. 1 Comparison of experimental results of different methods on COCO validation set

方法	输入尺寸	参数量/10⁶	计算量/GFLOPs	mAP/%	$A P 50$ /%	$A P 75$ /%	$A P M$ /%	$A P L$ /%	$A R$ /%
IPR^［8］	256×256	45.0	11.0	67.2	—	—	—	—	—
CPN^［19］	256×192	27.0	6.2	69.4	—	—	—	—	—
Hourglass^［20］	256×192	25.1	14.3	66.9	—	—	—	—	—
Simple Baseline^［21］	256×192	34.0	8.9	70.4	88.6	78.3	67.1	77.2	76.3
HRNet^［5］	256×192	28.5	7.1	73.4	89.5	80.7	70.2	80.1	78.9
Lite-HRNet^［7］	256×192	1.1	0.2	64.8	86.7	73.0	62.1	70.5	71.2
Lite-NIRNet	256×192	7.7	2.6	72.8	89.5	80.0	69.5	79.5	78.0

表2 在MPII验证集上不同方法的实验结果对比

Tab. 2 Comparison of experimental results of different methods on MPII validation set

方法	输入尺寸	参数量/10⁶	计算量/GFLOPs	PCKh@0.5/%
方法	输入尺寸	参数量/10⁶	计算量/GFLOPs	头部	肘部	肩部	腕部	臀部	膝盖	踝关节	平均
Hourglass^［20］	256×256	25.1	19.10	96.5	88.4	95.3	82.5	87.1	83.5	78.3	87.5
Simple Baseline^［21］	256×256	68.6	20.90	96.7	88.6	95.4	82.9	87.5	83.8	79.0	87.9
HRNet^［5］	256×256	28.5	9.50	96.8	89.5	95.1	85.1	88.2	85.2	82.0	89.3
Lite-HRNet^［7］	256×256	1.8	0.42	—	—	—	—	—	—	—	87.0
FastNet^［22］	256×256	19.7	7.70	—	—	—	—	—	—	—	90.2
Lite-NIRNet	256×256	7.7	3.40	96.9	90.4	95.8	85.1	89.0	85.7	81.3	89.7

图4 Lite-NIRNet的可视化结果

Fig. 4 Visualized results of Lite-NIRNet

表3 Lite-NIRNet模块的消融结果对比

Tab. 3 Ablation results comparison of Lite-NIRNet modules

模型	SCD	PConv	CA	NIR	参数量/ 10⁶	计算量/GFLOPs	mAP/%
模型1	×	×	×	×	28.5	7.1	71.4
模型2	√	×	×	×	28.5	7.1	73.4
模型3	√	√	×	×	7.6	2.6	71.3
模型4	√	√	√	×	7.7	2.6	72.1
模型5	×	√	√	√	7.7	2.6	72.8
模型6	×	×	×	√	28.5	7.1	74.2

图5 不同β系数对IR和NIR高斯核的影响

Fig. 5 Influence of different β coefficient on IR and NIR Gaussian kernels

表4 不同β系数对网络精度的影响比

Tab. 4 Influence of different β coefficient on network accuracy

β	mAP/%	β	mAP/%
1	72.2	7	72.4
3	72.7	9	71.9
5	72.8

参考文献 22

1	GU K， YANG L， MI M B， et al. Bias-compensated integral regression for human pose estimation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（9）： 10687-10702.
2	ZHENG C， WU W， CHEN C， et al. Deep learning-based human pose estimation： a survey ［J］. ACM Computing Surveys， 2024， 56（1）： No.11.
3	李坤，侯庆. 基于注意力机制的轻量型人体姿态估计［J］. 计算机应用， 2022， 42（8）： 2407-2414.
	LI K， HOU Q. Lightweight human pose estimation based on attention mechanism ［J］. Journal of Computer Applications， 2022， 42（8）： 2407-2414.
4	TOSHEV A， SZEGEDY C. DeepPose： human pose estimation via deep neural networks ［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014：1653-1660.
5	SUN K， XIAO B， LIU D， et al. Deep high-resolution representation learning for human pose estimation ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5686-5696.
6	WANG Y， LI M， CAI H， et al. Lite Pose： efficient architecture design for 2D human pose estimation ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022：13126-13136.
7	YU C， XIAO B， GAO C， et al. Lite-HRNet： a lightweight high-resolution network ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 10435-10445.
8	SUN X， XIAO B， WEI F， et al. Integral human pose regression［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11210. Cham： Springer， 2018：536-553.
9	GU K， YANG L， YAO A. Dive deeper into integral pose regression［EB/OL］. ［2024-01-23］. .
10	GU K， YANG L， YAO A. Removing the bias of integral pose regression ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 11047-11056.
11	CHEN J， KAO S H， HE H， et al. Run， don’t walk： chasing higher flops for faster neural networks ［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023：12021-12031.
12	轩勃娜，李进，宋亚飞，等. 基于改进MobileNetV2的恶意代码分类方法［J］. 计算机应用， 2023， 43（7）：2217-2225.
	XUAN B N， LI J， SONG Y F， et al. Malicious code classification method based on improved MobileNetV2 ［J］. Journal of Computer Applications， 2023， 43（7）： 2217-2225.
13	张宸嘉，朱磊，俞璐. 卷积神经网络中的注意力机制综述［J］. 计算机工程与应用， 2021， 57（20）：64-72.
	ZHANG C J， ZHU L， YU L. Review of attention mechanism in convolutional neural networks ［J］. Computer Engineering and Applications， 2021， 57（20）： 64-72.
14	HOU Q， ZHOU D， FENG J. Coordinate attention for efficient mobile network design ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 13708-13717.
15	ZHANG F， ZHU X， DAI H， et al. Distribution-aware coordinate representation for human pose estimation ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 7091-7100.
16	LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： common objects in context ［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8693. Cham： Springer， 2014： 740-755.
17	ANDRILUKA M， PISHCHULIN L， GEHLER P， et al. 2D human pose estimation： new benchmark and state of the art analysis ［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014：3686-3693.
18	杨观赐，杨静，李少波，等. 基于Dropout与ADAM优化器的改进CNN算法［J］. 华中科技大学学报（自然科学版）， 2018， 46（7）：122-127.
	YANG G C， YANG J， LI S B， et al. Modified CNN algorithm based on Dropout and ADAM optimizer ［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2018， 46（7）：122-127.
19	CHEN Y， WANG Z， PENG Y， et al. Cascaded pyramid network for multi-person pose estimation ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：7103-7112.
20	NEWILL A， YANG K， DENG J. Stacked hourglass networks for human pose estimation ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9912. Cham： Springer， 2016：483-499.
21	XIAO B， WU H， WEI Y. Simple baselines for human pose estimation and tracking ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11210. Cham： Springer， 2018： 472-487.
22	LUO Y， OU Z， WAN T， et al. FastNet： fast high-resolution network for human pose estimation ［J］. Image and Vision Computing， 2022， 119： No.104390.

[1]	桂佳扬, 王顺吉, 周正康, 唐加山. 基于改进YOLOv8n的隧道内异物检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 655-661.
[2]	陈俊颖, 郭士杰, 陈玲玲. 基于解耦注意力与幻影卷积的轻量级人体姿态估计[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 223-233.
[3]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[4]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[5]	程小辉, 黄云天, 张瑞芳. 基于多尺度和加权坐标注意力的轻量化红外道路场景检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1927-1934.
[6]	邴雅星, 王阳萍, 雍玖, 白浩谋. 基于筛选学习网络的六自由度目标位姿估计算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1920-1926.
[7]	刘欢, 吴亮红, 张侣, 陈亮, 周博文, 张红强. 基于特征双融合CenterNet的白细胞检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2602-2610.
[8]	轩勃娜, 李进, 宋亚飞, 马泽煊. 基于改进MobileNetV2的恶意代码分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2217-2225.
[9]	张广耀, 宋纯锋. 融合人体全身表观特征的行人头部跟踪模型[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1372-1377.
[10]	李文举, 张干, 崔柳, 储王慧. 基于坐标注意力的轻量级交通标志识别模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 608-614.
[11]	苏亚婷, 刘翠响. 基于高分辨率网络和图卷积网络的三维人体重建模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 583-588.
[12]	赵威, 李毅. 基于Kinect的人体姿态估计优化和动画生成[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2830-2837.
[13]	李坤, 侯庆. 基于注意力机制的轻量型人体姿态估计[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2407-2414.
[14]	杨飞宇, 宋展, 肖振中, 莫曜阳, 陈宇, 潘哲, 张敏, 张遥, 钱贝贝, 汤朝伟, 金武. 对人体姿态估计热图误差的再思考[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2548-2555.
[15]	孙琪翔, 何宁, 张敬尊, 宏晨. 基于非局部高分辨率网络的轻量化人体姿态估计方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1398-1406.

基于非全局依赖积分回归的轻量姿态估计网络

Lightweight pose estimation network based on non-globally dependent integral regression

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 22

相关文章 15

编辑推荐

Metrics