基于灰度域特征增强的行人重识别方法

doi:10.11772/j.issn.1001-9081.2021061011

《计算机应用》唯一官方网站 ›› 2021, Vol. 41 ›› Issue (12): 3590-3595.DOI: 10.11772/j.issn.1001-9081.2021061011

所属专题：第十八届中国机器学习会议(CCML 2021)

• 第十八届中国机器学习会议(CCML 2021) • 上一篇下一篇

基于灰度域特征增强的行人重识别方法

龚云鹏, 曾智勇(), 叶锋

福建师范大学计算机与网络空间安全学院，福州 350117

收稿日期:2021-05-12 修回日期:2021-07-06 接受日期:2021-07-07 发布日期:2021-12-28 出版日期:2021-12-10
通讯作者: 曾智勇
作者简介:龚云鹏（1994—），男，福建泉州人，硕士研究生，主要研究方向：计算机视觉、行人重识别
叶锋（1978—）男，福建福州人，副教授，博士，主要研究方向：计算机视觉、模式识别。

Person re-identification method based on grayscale feature enhancement

Yunpeng GONG, Zhiyong ZENG(), Feng YE

College of Computer and Cyber Security，Fujian Normal University，Fuzhou Fujian 350117，China

Received:2021-05-12 Revised:2021-07-06 Accepted:2021-07-07 Online:2021-12-28 Published:2021-12-10
Contact: Zhiyong ZENG
About author:GONG Yunpeng， born in 1994， M. S. candidate. His research interests include computer vison， person re-identification.
YE Feng， born in 1978， Ph. D， associate professor. His research interests include computer vision， pattern recognition.

摘要/Abstract

摘要：

在显著的类内变化中所学特征是否具有较好的不变性会决定行人重识别（ReID）模型的性能表现的上限，环境光线、图像分辨率变化、运动模糊等因素都会引起行人图像的颜色偏差，这些问题将导致模型对数据的颜色信息过度拟合从而限制模型的性能表现。而模拟数据样本的颜色信息丢失并凸显样本的结构信息可以促进模型学习到更稳健的特征。具体来说，在模型训练时，按照所设定的概率随机选择训练数据批组，然后对所选中批组中的每一个RGB图像样本随机选取图像的一个矩形区域或者直接选取整张图像，并将所选区域的像素替换为相应灰度图像中相同的矩形区域的像素，从而生成包含不同灰度区域的训练图像。实验结果表明，所提方法与基准模型相比在平均精度均值（mAP）评价指标上最高提升了3.3个百分点，并在多个数据集上表现良好。

关键词: 行人重识别, 计算机视觉, 深度学习, 数据增强, 特征鲁棒性, 全局灰度转换, 局部灰度转换

Abstract:

Whether the learned features have better invariance in the significant intra-class changes will determine the upper limit of performance of the Person Re-identification （ReID） model. Environmental light， image resolution change， motion blur and other factors may cause color deviation of pedestrian images， and these problems will cause overfitting of the model to color information of the data， thus limiting the performance of the model. By simulating the color information loss of the data samples and highlighting the structural information of the samples， the model was helped to learn more robust features. Specifically， during model training， the training batch was randomly selected according to the set probability， and then a rectangular area of the image or the entire image was randomly selected for each RGB image sample in the selected batch， and the pixels of the selected area was replaced with the pixels of the same rectangular area in the corresponding grayscale image， thus generating a training image with different grayscale areas. Experimental results demonstrate that compared with the benchmark model， the proposed method achieves a significant performance improvement of 3.3 percentage points at most on the evaluation index mean Average Precision （mAP）， and performs well on multiple datasets.

Key words: person re-identification, computer vision, deep learning, data augmentation, feature robustness, Global Grayscale Transformation (GGT), Local Grayscale Transformation (LGT)

中图分类号:

TP391

龚云鹏, 曾智勇, 叶锋. 基于灰度域特征增强的行人重识别方法[J]. 计算机应用, 2021, 41(12): 3590-3595.

Yunpeng GONG, Zhiyong ZENG, Feng YE. Person re-identification method based on grayscale feature enhancement[J]. Journal of Computer Applications, 2021, 41(12): 3590-3595.

图/表 12

参考文献 24

1	LENG Q M， YE M， TIAN Q. A survey of open-world person re-identification［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2020， 30（4）：1092-1108. 10.1109/tcsvt.2019.2898940
2	ZHENG L， SHEN L Y， TIAN L， et al. Scalable person re-identification： a benchmark［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015：1116-1124. 10.1109/iccv.2015.133
3	ZHENG Z D， ZHENG L， YANG Y. Unlabeled samples generated by GAN improve the person re-identification baseline in vitro［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 3774-3782. 10.1109/iccv.2017.405
4	WEI L H， ZHANG S L， GAO W， et al. Person transfer GAN to bridge domain gap for person re-identification［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 79-88. 10.1109/cvpr.2018.00016
5	ZHENG Z D， YANG X D， YU Z D， et al. Joint discriminative and generative learning for person re-identiﬁcation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 2133-2142. 10.1109/cvpr.2019.00224
6	GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.
7	ZHONG Z， ZHENG L， ZHENG Z D， et al. Camera style adaptation for person re-identification［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 5157-5166. 10.1109/cvpr.2018.00541
8	QIAN X L， FU Y W， XIANG T， et al. Pose-normalized image generation for person re-identification［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS11213. Cham： Springer， 2018： 661-678.
9	ZHONG Z， ZHENG L， KANG G L， et al. Random erasing data augmentation［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 13001-13008. 10.1609/aaai.v34i07.7000
10	FAN X， JIANG W， LUO H， et al. SphereReID： deep hypersphere manifold embedding for person re-identification［J］. Journal of Visual Communication and Image Representation， 2019， 60（4）： 51-58. 10.1016/j.jvcir.2019.01.010
11	ZHONG Z， ZHENG L， CAO D L， et al. Re-ranking person re-identification with k-reciprocal encoding［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3652-3661. 10.1109/cvpr.2017.389
12	SUN Y F， CHENG C M， ZHANG Y H， et al. Circle Loss： a unified perspective of pair similarity optimization［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 6397-6406. 10.1109/cvpr42600.2020.00643
13	HOU R B， MA B P， CHANG H， et al. Interaction-and-aggregation network for person re-identification［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 9309-9318. 10.1109/cvpr.2019.00954
14	NI X Y， FANG L， HUTTUNEN H. Adaptive L₂ regularization in person re-identification［EB/OL］. （2020-10-18）［2021-04-22］.. 10.1109/icpr48806.2021.9412481
15	ZHOU K Y， YANG Y X， CAVALLARO A， et al. Omni-scale feature learning for person re-identification［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 3701-3711. 10.1109/iccv.2019.00380
16	LUO H， JIANG W， ZHANG X， et al. AlignedReID++： dynamically matching local information for person re-identification［J］. Pattern Recognition， 2019， 94： 53-61. 10.1016/j.patcog.2019.05.028
17	DeVRIES T， TAYLOR G W. Improved regularization of convolutional neural networks with cutout［EB/OL］. （2017-11-29）［2021-04-22］..
18	CHEN B H， DENG W H， HU J N. Mixed high-order attention network for person re-identification［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 371-381. 10.1109/iccv.2019.00046
19	ZHANG Z Z， LAN C L， ZENG W J， et al. Relation-aware global attention for person re-identification［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 3183-3192. 10.1109/cvpr42600.2020.00325
20	ZHENG Z D. PyTorch ReID： a tiny， friendly， strong PyTorch implement of person re-identification baseline［CP/OL］. ［2021-04-22］.. 10.1109/iccv.2017.405
21	LUO H， GU Y Z， LIAO X Y， et al. Bag of tricks and a strong baseline for deep person re-identification［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1487-1495. 10.1109/cvprw.2019.00190
22	HE L X， LIAO X Y， LIU W， et al. FastReID： a PyTorch toolbox for general instance re-identification［EB/OL］. （2020-07-15）［2021-04-22］..
23	HE K M， ZHANG X Y， REN S Q， et al. Identity mappings in deep residual networks［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS9908. Cham： Springer， 2016： 630-645.
24	PAN X G， LUO P， SHI J P， et al. Two at once： enhancing learning and generalization capacities via IBN-Net［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS11208. Cham： Springer， 2018： 484-500.

数据集	各指标上的灰度贡献率
数据集	Rank-1	Rank-5	Rank-10	mAP
Market-1501^［2］	89.3	95.4	97.5	73.4
DukeMTMC^［3］	91.5	94.1	95.6	77.7
MSMT17^［4］	87.2	91.7	99.2	70.6

数据集	各指标上的灰度贡献率
数据集	Rank-1	Rank-5	Rank-10	mAP
Market-1501^［2］	89.3	95.4	97.5	73.4
DukeMTMC^［3］	91.5	94.1	95.6	77.7
MSMT17^［4］	87.2	91.7	99.2	70.6

方法	Rank-1	mAP
IANet（CVPR19）	94.4	83.1
DGNet（CVPR19）	94.8	86.0
SCAL （ICCV19）	95.8	89.3
Circle Loss （CVPR20）	96.1	87.4
SB （CVPR19）	94.5	85.9
SB + reRank	95.4	94.2
SB + GGT	94.6（+0.1）	85.7
SB + GGT+ reRank	96.2（+0.8）	94.7（+0.5）
SB + LGT	95.1（+0.6）	87.2（+1.3）
SB + LGT + reRank	95.9（+0.5）	94.4（+0.2）
FR	96. 3	90.3
FR+ reRank	96.8	95.3
FR + GGT	96.5（+0.2）	91.2（+0.9）
FR + GGT + reRank	96.9（+0.1）	95.6（+0.3）

方法	Rank-1	mAP
IANet（CVPR19）	94.4	83.1
DGNet（CVPR19）	94.8	86.0
SCAL （ICCV19）	95.8	89.3
Circle Loss （CVPR20）	96.1	87.4
SB （CVPR19）	94.5	85.9
SB + reRank	95.4	94.2
SB + GGT	94.6（+0.1）	85.7
SB + GGT+ reRank	96.2（+0.8）	94.7（+0.5）
SB + LGT	95.1（+0.6）	87.2（+1.3）
SB + LGT + reRank	95.9（+0.5）	94.4（+0.2）
FR	96. 3	90.3
FR+ reRank	96.8	95.3
FR + GGT	96.5（+0.2）	91.2（+0.9）
FR + GGT + reRank	96.9（+0.1）	95.6（+0.3）

方法	Rank-1	mAP
IANet（CVPR19）	87.1	73.4
DGNet（CVPR19）	86.6	74.8
SCAL （ICCV19）	89.0	79.6
SB （CVPR19）	86.4	76.4
SB + reRank	90.3	89.1
SB + GGT	87.8（+1.4）	77.3（+0.9）
SB + GGT+ reRank	90.9（+0.6）	89.2（+0.1）
SB + LGT	87.3（+0.9）	77.3（+0.9）
SB + LGT + reRank	91.0（+0.7）	89.4（+0.3）
FR	92.4	83.2
FR + reRank	94.4	92.2
FR + LGT	92.8（+0.4）	84.2（+1）
FR + LGT + reRank	94.3	92.7（+0.5）

基于灰度域特征增强的行人重识别方法

Person re-identification method based on grayscale feature enhancement

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 24

相关文章 15

编辑推荐

Metrics

方法	Rank-1	mAP
IANet （CVPR19）	75.5	46.8
DGNet（CVPR19）	77.2	52.3
RGA-SC（CVPR20）	80.3	57.5
AdaptiveReID	81.7	62.2
FR	85.1	63.3
FR + GGT（ours）	86.2（+1.1）	65.3（+2）
FR + GGT&LGT（ours）	86.2（+1.1）	65.9（+2.6）

方法	跨域方向
	M→D		D→M
	Rank-1	mAP	Rank-1	mAP
SB+REA+reRank	33.6	24.3	51.6	32.3
SB+REA+GGT+reRank	37.8	27.8	55.4	35.7
SB-REA+reRank	45.5	37.0	58.2	37.8
SB-REA+GGT+reRank	48.2	37.9	65.0	43.7

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[3]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[4]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[5]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[6]	贾洁茹, 杨建超, 张硕蕊, 闫涛, 陈斌. 基于自蒸馏视觉Transformer的无监督行人重识别[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2893-2902.
[7]	付帅, 郭小英, 白茹意, 闫涛, 陈斌. 改进的CloFormer模型与有序回归相结合的年龄评估方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2372-2380.
[8]	王翠, 邓淼磊, 张德贤, 李磊, 杨晓艳. 基于图像的端到端行人搜索算法综述[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2544-2550.
[9]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[10]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[11]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[12]	杨莹, 郝晓燕, 于丹, 马垚, 陈永乐. 面向图神经网络模型提取攻击的图数据生成方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2483-2492.
[13]	施赛龙, 方智文. 基于多尺度聚合和共享注意力的注视估计模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2047-2054.
[14]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[15]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.