基于扩张重参数化和空洞卷积架构的步态识别方法

doi:10.11772/j.issn.1001-9081.2024050566

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (4): 1285-1292.DOI: 10.11772/j.issn.1001-9081.2024050566

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于扩张重参数化和空洞卷积架构的步态识别方法

霍丽娜¹, 薛乐仁², 戴钰俊², 赵新宇², 王世行², 王威¹()

^1.河北师范大学计算机与网络空间安全学院，石家庄 050024
^2.河北师范大学软件学院，石家庄 050024

收稿日期:2024-05-09 修回日期:2024-08-29 接受日期:2024-09-13 发布日期:2024-09-27 出版日期:2025-04-10
通讯作者: 王威
作者简介:霍丽娜（1982—），女，河北平山人，副教授，博士，主要研究方向：计算机视觉、多模态学习、深度学习
薛乐仁（2002—），男，广东清远人，CCF会员，主要研究方向：步态识别、计算机视觉、深度学习
戴钰俊（2003—），男，江西九江人，主要研究方向：步态识别、计算机视觉、深度学习
赵新宇（2003—），女，河北沧州人，主要研究方向：步态识别、深度学习、计算机视觉
王世行（2004—），男，河南焦作人，主要研究方向：计算机视觉、步态识别、深度学习
基金资助:
国家自然科学基金资助项目(61702158);河北省教育厅重点科学基金资助项目(ZD2020317);中央引导地方科技发展资金资助项目(236Z0102G);河北师范大学科技类科研基金资助项目(L2024ZD15)

Gait recognition method based on dilated reparameterization and atrous convolution architecture

Lina HUO¹, Leren XUE², Yujun DAI², Xinyu ZHAO², Shihang WANG², Wei WANG¹()

^1.College of Computer and Cyber Security，Hebei Normal University，Shijiazhuang Hebei 050024，China
^2.Software College，Hebei Normal University，Shijiazhuang Hebei 050024，China

Received:2024-05-09 Revised:2024-08-29 Accepted:2024-09-13 Online:2024-09-27 Published:2025-04-10
Contact: Wei WANG
About author:HUO Lina， born in 1982， Ph. D.， associate professor. Her research interests include computer vision， multi-modal learning， deep learning.
XUE Leren， born in 2002. His research interests include gait recognition， computer vision， deep learning.
DAI Yujun， born in 2003. His research interests include gait recognition， computer vision， deep learning.
ZHAO Xinyu， born in 2003. Her research interests include gait recognition， deep learning， computer vision.
WANG Shihang， born in 2004. His research interests include computer vision， gait recognition， deep learning.
Supported by:
National Natural Science Foundation of China(61702158);Key Scientific Fund of Hebei Education Department(ZD2020317);Central Guidance on Local Science and Technology Development Fund(236Z0102G);Science and Technology Research Fund of Hebei Normal University(L2024ZD15)

摘要/Abstract

摘要：

步态识别旨在通过人们的步行姿态进行身份识别。针对步态识别中有效感受野（ERF）与人体轮廓区域匹配不佳的问题，提出一种基于空洞卷积的步态识别方法DilatedGait。首先，采用空洞卷积扩大神经元感受野，缓解下采样和模型深度增加导致的分辨率下降，以提高轮廓结构的辨识度；其次，提出扩张重参数化模块（DRM），通过重参数化方法融合多尺度卷积核参数，优化ERF聚焦范围，使模型捕获更多的全局上下文信息；最后，通过特征映射提取判别性步态特征。在户外数据集Gait3D和GREW上的实验结果表明，对比目前的先进方法GaitBase，DilatedGait在Gait3D的Rank-1和平均逆负惩罚（mINP）上分别提升了9.0和14.2个百分点，在GREW的Rank-1和Rank-5上分别提升了11.6和8.8个百分点。可见，DilatedGait消除了复杂协变量带来的不利影响，能进一步提升户外场景下步态识别的准确率。

关键词: 步态识别, 有效感受野, 重参数化, 空洞卷积, 步态轮廓序列

Abstract:

Gait recognition aims at identifying people by their walking postures. To solve the problem of poor matching between the Effective Receptive Field （ERF） and the human silhouette region， a gait recognition method based on atrous convolution， named DilatedGait， was proposed. Firstly， atrous convolution was employed to expand the neurons’ receptive fields， thereby alleviating the resolution degradation by downsampling and model deepening. Therefore， the recognizability of the silhouette structure was enhanced. Secondly， Dilated Reparameterization Module （DRM） was proposed to optimize the ERF focus range by fusing the multi-scale convolution kernel parameters through reparameterization method， thus enabling the model to capture more global contextual information. Finally， the discriminative gait features were extracted via feature mapping. Experiments were conducted on the outdoor datasets Gait3D and GREW， and the results show that compared with the existing state-of-the-art method GaitBase， DilatedGait improves 9.0 and 14.2 percentage points respectively in Rank-1 and mean Inverse Negative Penalty （mINP） on Gait3D and increases 11.6 and 8.8 percentage points respectively in Rank-1 and Rank-5 on GREW. It can be seen that DilatedGait overcomes the adverse effects of complex covariates and further enhances the accuracy of gait recognition in outdoor scenes.

Key words: gait recognition, Effective Receptive Field (ERF), reparameterization, atrous convolution, gait silhouette sequence

中图分类号:

TP391.4

霍丽娜, 薛乐仁, 戴钰俊, 赵新宇, 王世行, 王威. 基于扩张重参数化和空洞卷积架构的步态识别方法[J]. 计算机应用, 2025, 45(4): 1285-1292.

Lina HUO, Leren XUE, Yujun DAI, Xinyu ZHAO, Shihang WANG, Wei WANG. Gait recognition method based on dilated reparameterization and atrous convolution architecture[J]. Journal of Computer Applications, 2025, 45(4): 1285-1292.

图/表 10

参考文献 33

1	刘瑞华，郝子赫，邹洋杨. 基于多层级精细特征融合的步态识别算法［J］. 计算机应用， 2024， 44（7）：2250-2257.
	LIU R H， HAO Z H， ZOU Y Y. Gait recognition algorithm based on multi-layer refined feature fusion［J］. Journal of Computer Applications， 2024， 44（7）：2250-2257.
2	SHEN C， YU S， WANG J， et al. A comprehensive survey on deep gait recognition： algorithms， datasets and challenges［EB/OL］. ［2024-04-03］..
3	LIAO R， YU S， AN W， et al. A model-based gait recognition method with body pose and human prior knowledge［J］. Pattern Recognition， 2020， 98： No.107069.
4	TEEPE T， KHAN A， GILG J， et al. GaitGraph： graph convolutional network for skeleton-based gait recognition［C］// Proceedings of the 2021 IEEE International Conference on Image Processing. Piscataway： IEEE， 2021： 2314-2318.
5	ZHENG J， LIU X， LIU W， et al. Gait recognition in the wild with dense 3D representations and a benchmark［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 20196-20205.
6	HUANG X， ZHU D， WANG H， et al. Context-sensitive temporal feature learning for gait recognition［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 12889-12898.
7	HSU H M， WANG Y， YANG C Y， et al. GaitTAKE： gait recognition by temporal attention and keypoint-guided embedding［C］// Proceedings of the 2022 IEEE International Conference on Image Processing. Piscataway： IEEE， 2022： 2546-2550.
8	WANG L， LIU B， LIANG F， et al. Hierarchical spatio-temporal representation learning for gait recognition［C］// Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2023： 19582-19592.
9	DOU H， ZHANG P， SU W， et al. GaitGCI： generative counterfactual intervention for gait recognition［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 5578-5588.
10	CHAO H， WANG K， HE Y， et al. GaitSet： cross-view gait recognition through utilizing gait as a deep set［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（7）： 3467-3478.
11	FAN C， PENG Y， CAO C， et al. GaitPart： temporal part-based model for gait recognition［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 14213-14221.
12	LIN B， ZHANG S， YU X. Gait recognition via effective global-local feature representation and local temporal aggregation［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 14628-14636.
13	HOU S， CAO C， LIU X， et al. Gait lateral network： learning discriminative and compact representations for gait recognition［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12354. Cham： Springer， 2020： 382-398.
14	ZHU H， ZHENG W， ZHENG Z， et al. GaitRef： gait recognition with refined sequential skeletons［C］// Proceedings of the 2023 IEEE International Joint Conference on Biometrics. Piscataway： IEEE， 2023： 1-10.
15	LI G， GUO L， ZHANG R， et al. TransGait： multimodal-based gait recognition with set transformer［J］. Applied Intelligence， 2023， 53（2）： 1535-1547.
16	FAN C， HOU S， HUANG Y， et al. Exploring deep models for practical gait recognition［EB/OL］. ［2024-04-03］..
17	FAN C， LIANG J， SHEN C， et al. OpenGait： revisiting gait recognition toward better practicality［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 9707-9716.
18	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.
19	ZHANG Y， MAZUROWSKI M A. Convolutional neural networks rarely learn shape for semantic segmentation［J］. Pattern Recognition， 2024， 146： No.110018.
20	LUO W， LI Y， URTASUN R， et al. Understanding the effective receptive field in deep convolutional neural networks［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2016： 4905-4913.
21	YU F， KOLTUN V， FUNKHOUSER T. Dilated residual networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 636-644.
22	DING X， GUO Y， DING G， et al. ACNet： strengthening the kernel skeletons for powerful CNN via asymmetric convolution blocks［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 1911-1920.
23	邓帆，曾渊，刘博文，等. 基于Transformer时间特征聚合的步态识别模型［J］. 计算机应用， 2023， 43（S1）： 15-18.
	DENG F， ZENG Y， LIU B W， et al. Gait recognition model based on temporal feature aggregation with Transformer［J］. Journal of Computer Applications， 2023， 43（S1）： 15-18.
24	LUO H， GU Y， LIAO X， et al. Bag of tricks and a strong baseline for deep person re-identification［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2019： 1487-1495.
25	GLOROT X， BORDES A， BENGIO Y. Deep sparse rectifier neural networks［C］// Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2011： 315-323.
26	CHOLLET F. Xception： deep learning with depthwise separable convolutions［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1800-1807.
27	LIU Z， LIN Y， CAO Y， et al. Swin Transformer： hierarchical vision Transformer using shifted windows［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 9992-10002.
28	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale［EB/OL］. ［2024-04-03］..
29	DING X， ZHANG X， HAN J， et al. Scaling up your kernels to 31×31： revisiting large kernel design in CNNs［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 11953-11965.
30	马玉祥，代雪晶. 基于视频残差神经网络的深度步态识别［J］. 计算机系统应用， 2024， 33（4）： 279-287.
	MA Y X， DAI X J. Deep gait recognition based on video residual neural network［J］. Computer Systems and Applications， 2024， 33（4）： 279-287.
31	SCHROFF F， KALENICHENKO D， PHILBIN J. FaceNet： a unified embedding for face recognition and clustering［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 815-823.
32	ZHU Z， GUO X， YANG T， et al. Gait recognition in the wild： a benchmark［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 14769-14779.
33	YE M， SHEN J， LIN G， et al. Deep learning for person re-identification： a survey and outlook［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（6）： 2872-2893.

方法	Rank-1	Rank-5	mAP	mINP
GaitPart^［11］	29.9	50.6	23.3	13.2
GaitSet^［10］	42.6	63.1	33.7	19.7
GLN^［13］	42.2	64.5	33.1	19.6
CSTL^［6］	12.2	21.7	6.4	3.3
GaitGL^［12］	23.5	38.5	16.4	9.2
SMPLGait^［5］	53.2	71.0	42.4	26.0
GaitTAKE^［7］	53.1	71.9	43.3	27.1
GaitRef^［14］	54.1	71.3	42.7	26.2
GaitGCI^［9］	57.2	74.5	45.0	27.6
HSTL^［8］	61.3	76.3	55.5	34.8
GaitBase^［17］	64.6	79.8	53.4	31.4
DilatedGait	73.6	87.4	65.0	45.6

方法	Rank-1	Rank-5	mAP	mINP
GaitPart^［11］	29.9	50.6	23.3	13.2
GaitSet^［10］	42.6	63.1	33.7	19.7
GLN^［13］	42.2	64.5	33.1	19.6
CSTL^［6］	12.2	21.7	6.4	3.3
GaitGL^［12］	23.5	38.5	16.4	9.2
SMPLGait^［5］	53.2	71.0	42.4	26.0
GaitTAKE^［7］	53.1	71.9	43.3	27.1
GaitRef^［14］	54.1	71.3	42.7	26.2
GaitGCI^［9］	57.2	74.5	45.0	27.6
HSTL^［8］	61.3	76.3	55.5	34.8
GaitBase^［17］	64.6	79.8	53.4	31.4
DilatedGait	73.6	87.4	65.0	45.6

方法	Rank-1	Rank-5	Rank-10	Rank-20
PoseGait^［3］	0.2	1.1	2.2	4.3
GaitGraph^［4］	1.3	3.5	5.1	7.5
GaitPart^［11］	44.0	60.7	67.4	73.5
GaitSet^［10］	46.3	63.6	70.3	76.8
CSTL^［6］	50.6	65.9	71.9	76.9
GaitGL^［12］	51.4	67.5	72.8	77.3
GaitTAKE^［7］	51.3	69.4	75.5	80.4
GaitMix^［14］	52.4	67.4	72.9	77.2
GaitRef^［14］	53.0	67.9	73.0	77.5
TransGait^［15］	56.3	72.7	78.1	82.5
GaitBase^［17］	60.1	75.5	80.4	84.1
DilatedGait	71.7	84.3	88.1	90.8

方法	Rank-1	Rank-5	Rank-10	Rank-20
PoseGait^［3］	0.2	1.1	2.2	4.3
GaitGraph^［4］	1.3	3.5	5.1	7.5
GaitPart^［11］	44.0	60.7	67.4	73.5
GaitSet^［10］	46.3	63.6	70.3	76.8
CSTL^［6］	50.6	65.9	71.9	76.9
GaitGL^［12］	51.4	67.5	72.8	77.3
GaitTAKE^［7］	51.3	69.4	75.5	80.4
GaitMix^［14］	52.4	67.4	72.9	77.2
GaitRef^［14］	53.0	67.9	73.0	77.5
TransGait^［15］	56.3	72.7	78.1	82.5
GaitBase^［17］	60.1	75.5	80.4	84.1
DilatedGait	71.7	84.3	88.1	90.8

编号	方案	Rank-1	Rank-5	mAP	mINP
	Baseline（对照组）	68.2	84.6	60.4	40.0
①	+扩张卷积（3×3， r=2） +常规卷积（3×3）	69.8	84.8	62.0	41.5
②	+扩张卷积（3×3， r=2） +常规卷积（5×5）	70.2	85.4	62.8	42.7
③	+扩张卷积（3×3， r=3） +常规卷积（3×3） +常规卷积（7×7）	70.3	85.2	62.9	42.6
④	+扩张卷积（3×3， r=2） +常规卷积（3×3） +常规卷积（5×5）	70.8	85.6	63.5	43.2

基于扩张重参数化和空洞卷积架构的步态识别方法

Gait recognition method based on dilated reparameterization and atrous convolution architecture

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 33

相关文章 15

编辑推荐

Metrics

实验方法	Gait3D				GREW
实验方法	Rank-1	Rank-5	mAP	mINP	Rank-1	Rank-5	Rank-10	Rank-20
Baseline（对照组）	68.2	84.6	60.4	40.0	68.6	82.0	86.1	88.2
+DRM	70.8	85.6	63.5	43.2	69.8	83.1	86.5	88.9
+残差空洞卷积块	72.7	87.2	64.7	45.2	71.0	84.1	87.8	90.5
DilatedGait	73.6	87.4	65.0	45.6	71.7	84.3	88.1	90.8

[1]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[2]	刘瑞华, 郝子赫, 邹洋杨. 基于多层级精细特征融合的步态识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2250-2257.
[3]	王晓路, 千王菲. 基于双支路卷积网络的步态识别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1965-1971.
[4]	封筠, 毕健康, 霍一儒, 李家宽. 轻量化沥青路面裂缝图像分割网络PIPNet[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1520-1526.
[5]	蒋占军, 吴佰靖, 马龙, 廉敬. 多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 938-944.
[6]	王林, 刘景亮, 王无为. 基于空洞卷积融合Transformer的无人机图像小目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3595-3602.
[7]	梁美佳, 刘昕武, 胡晓鹏. 基于改进YOLOv3的列车运行环境图像小目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2611-2618.
[8]	刘辉, 张琳玉, 王复港, 何如瑾. 基于注意力机制和上下文信息的目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1557-1564.
[9]	刘今越, 李慧宇, 贾晓辉, 李佳蕊. 基于人体模型约束的步态动态识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 972-977.
[10]	李佳东, 张丹普, 范亚琼, 杨剑锋. 基于改进YOLOv5的轻量级船舶目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 923-929.
[11]	张志昂, 廖光忠. 基于U-Net的多尺度特征增强视网膜血管分割算法[J]. 《计算机应用》唯一官方网站, 2023, 43(10): 3275-3281.
[12]	余晓鹏, 何儒汉, 黄晋, 张俊杰, 胡新荣. 基于改进Inception结构的知识图谱嵌入模型[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1065-1071.
[13]	刘朋伟, 高媛, 秦品乐, 殷喆, 王丽芳. 基于多感受野的生成对抗网络医学MRI影像超分辨率重建[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 938-945.
[14]	许慧青, 陈斌, 王敬飞, 陈志毅, 覃健. 基于卷积神经网络的细长路面病害检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 265-272.
[15]	冯兴杰, 张天泽. 基于分组卷积进行特征融合的全景分割算法[J]. 计算机应用, 2021, 41(7): 2054-2061.