基于灰度域特征增强的行人重识别方法

doi:10.11772/j.issn.1001-9081.2021061011

《计算机应用》唯一官方网站 ›› 2021, Vol. 41 ›› Issue (12): 3590-3595.DOI: 10.11772/j.issn.1001-9081.2021061011

• 第十八届中国机器学习会议(CCML 2021) • 上一篇

基于灰度域特征增强的行人重识别方法

龚云鹏, 曾智勇(), 叶锋

福建师范大学计算机与网络空间安全学院，福州 350117

收稿日期:2021-05-12 修回日期:2021-07-06 接受日期:2021-07-07 发布日期:2021-12-28 出版日期:2021-12-10
通讯作者: 曾智勇
作者简介:龚云鹏（1994—），男，福建泉州人，硕士研究生，主要研究方向：计算机视觉、行人重识别
叶锋（1978—）男，福建福州人，副教授，博士，主要研究方向：计算机视觉、模式识别。

Person re-identification method based on grayscale feature enhancement

Yunpeng GONG, Zhiyong ZENG(), Feng YE

College of Computer and Cyber Security，Fujian Normal University，Fuzhou Fujian 350117，China

Received:2021-05-12 Revised:2021-07-06 Accepted:2021-07-07 Online:2021-12-28 Published:2021-12-10
Contact: Zhiyong ZENG
About author:GONG Yunpeng， born in 1994， M. S. candidate. His research interests include computer vison， person re-identification.
YE Feng， born in 1978， Ph. D， associate professor. His research interests include computer vision， pattern recognition.

摘要/Abstract

摘要：

在显著的类内变化中所学特征是否具有较好的不变性会决定行人重识别（ReID）模型的性能表现的上限，环境光线、图像分辨率变化、运动模糊等因素都会引起行人图像的颜色偏差，这些问题将导致模型对数据的颜色信息过度拟合从而限制模型的性能表现。而模拟数据样本的颜色信息丢失并凸显样本的结构信息可以促进模型学习到更稳健的特征。具体来说，在模型训练时，按照所设定的概率随机选择训练数据批组，然后对所选中批组中的每一个RGB图像样本随机选取图像的一个矩形区域或者直接选取整张图像，并将所选区域的像素替换为相应灰度图像中相同的矩形区域的像素，从而生成包含不同灰度区域的训练图像。实验结果表明，所提方法与基准模型相比在平均精度均值（mAP）评价指标上最高提升了3.3个百分点，并在多个数据集上表现良好。

关键词: 行人重识别, 计算机视觉, 深度学习, 数据增强, 特征鲁棒性, 全局灰度转换, 局部灰度转换

Abstract:

Whether the learned features have better invariance in the significant intra-class changes will determine the upper limit of performance of the Person Re-identification （ReID） model. Environmental light， image resolution change， motion blur and other factors may cause color deviation of pedestrian images， and these problems will cause overfitting of the model to color information of the data， thus limiting the performance of the model. By simulating the color information loss of the data samples and highlighting the structural information of the samples， the model was helped to learn more robust features. Specifically， during model training， the training batch was randomly selected according to the set probability， and then a rectangular area of the image or the entire image was randomly selected for each RGB image sample in the selected batch， and the pixels of the selected area was replaced with the pixels of the same rectangular area in the corresponding grayscale image， thus generating a training image with different grayscale areas. Experimental results demonstrate that compared with the benchmark model， the proposed method achieves a significant performance improvement of 3.3 percentage points at most on the evaluation index mean Average Precision （mAP）， and performs well on multiple datasets.

Key words: person re-identification, computer vision, deep learning, data augmentation, feature robustness, Global Grayscale Transformation (GGT), Local Grayscale Transformation (LGT)

中图分类号:

TP391

龚云鹏, 曾智勇, 叶锋. 基于灰度域特征增强的行人重识别方法[J]. 计算机应用, 2021, 41(12): 3590-3595.

Yunpeng GONG, Zhiyong ZENG, Feng YE. Person re-identification method based on grayscale feature enhancement[J]. Journal of Computer Applications, 2021, 41(12): 3590-3595.

图/表 12

参考文献 24

1	LENG Q M， YE M， TIAN Q. A survey of open-world person re-identification［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2020， 30（4）：1092-1108. 10.1109/tcsvt.2019.2898940
2	ZHENG L， SHEN L Y， TIAN L， et al. Scalable person re-identification： a benchmark［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015：1116-1124. 10.1109/iccv.2015.133
3	ZHENG Z D， ZHENG L， YANG Y. Unlabeled samples generated by GAN improve the person re-identification baseline in vitro［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 3774-3782. 10.1109/iccv.2017.405
4	WEI L H， ZHANG S L， GAO W， et al. Person transfer GAN to bridge domain gap for person re-identification［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 79-88. 10.1109/cvpr.2018.00016
5	ZHENG Z D， YANG X D， YU Z D， et al. Joint discriminative and generative learning for person re-identiﬁcation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 2133-2142. 10.1109/cvpr.2019.00224
6	GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.
7	ZHONG Z， ZHENG L， ZHENG Z D， et al. Camera style adaptation for person re-identification［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 5157-5166. 10.1109/cvpr.2018.00541
8	QIAN X L， FU Y W， XIANG T， et al. Pose-normalized image generation for person re-identification［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS11213. Cham： Springer， 2018： 661-678.
9	ZHONG Z， ZHENG L， KANG G L， et al. Random erasing data augmentation［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 13001-13008. 10.1609/aaai.v34i07.7000
10	FAN X， JIANG W， LUO H， et al. SphereReID： deep hypersphere manifold embedding for person re-identification［J］. Journal of Visual Communication and Image Representation， 2019， 60（4）： 51-58. 10.1016/j.jvcir.2019.01.010
11	ZHONG Z， ZHENG L， CAO D L， et al. Re-ranking person re-identification with k-reciprocal encoding［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3652-3661. 10.1109/cvpr.2017.389
12	SUN Y F， CHENG C M， ZHANG Y H， et al. Circle Loss： a unified perspective of pair similarity optimization［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 6397-6406. 10.1109/cvpr42600.2020.00643
13	HOU R B， MA B P， CHANG H， et al. Interaction-and-aggregation network for person re-identification［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 9309-9318. 10.1109/cvpr.2019.00954
14	NI X Y， FANG L， HUTTUNEN H. Adaptive L₂ regularization in person re-identification［EB/OL］. （2020-10-18）［2021-04-22］.. 10.1109/icpr48806.2021.9412481
15	ZHOU K Y， YANG Y X， CAVALLARO A， et al. Omni-scale feature learning for person re-identification［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 3701-3711. 10.1109/iccv.2019.00380
16	LUO H， JIANG W， ZHANG X， et al. AlignedReID++： dynamically matching local information for person re-identification［J］. Pattern Recognition， 2019， 94： 53-61. 10.1016/j.patcog.2019.05.028
17	DeVRIES T， TAYLOR G W. Improved regularization of convolutional neural networks with cutout［EB/OL］. （2017-11-29）［2021-04-22］..
18	CHEN B H， DENG W H， HU J N. Mixed high-order attention network for person re-identification［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 371-381. 10.1109/iccv.2019.00046
19	ZHANG Z Z， LAN C L， ZENG W J， et al. Relation-aware global attention for person re-identification［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 3183-3192. 10.1109/cvpr42600.2020.00325
20	ZHENG Z D. PyTorch ReID： a tiny， friendly， strong PyTorch implement of person re-identification baseline［CP/OL］. ［2021-04-22］.. 10.1109/iccv.2017.405
21	LUO H， GU Y Z， LIAO X Y， et al. Bag of tricks and a strong baseline for deep person re-identification［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1487-1495. 10.1109/cvprw.2019.00190
22	HE L X， LIAO X Y， LIU W， et al. FastReID： a PyTorch toolbox for general instance re-identification［EB/OL］. （2020-07-15）［2021-04-22］..
23	HE K M， ZHANG X Y， REN S Q， et al. Identity mappings in deep residual networks［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS9908. Cham： Springer， 2016： 630-645.
24	PAN X G， LUO P， SHI J P， et al. Two at once： enhancing learning and generalization capacities via IBN-Net［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS11208. Cham： Springer， 2018： 484-500.

数据集	各指标上的灰度贡献率
数据集	Rank-1	Rank-5	Rank-10	mAP
Market-1501^［2］	89.3	95.4	97.5	73.4
DukeMTMC^［3］	91.5	94.1	95.6	77.7
MSMT17^［4］	87.2	91.7	99.2	70.6

数据集	各指标上的灰度贡献率
数据集	Rank-1	Rank-5	Rank-10	mAP
Market-1501^［2］	89.3	95.4	97.5	73.4
DukeMTMC^［3］	91.5	94.1	95.6	77.7
MSMT17^［4］	87.2	91.7	99.2	70.6

方法	Rank-1	mAP
IANet（CVPR19）	94.4	83.1
DGNet（CVPR19）	94.8	86.0
SCAL （ICCV19）	95.8	89.3
Circle Loss （CVPR20）	96.1	87.4
SB （CVPR19）	94.5	85.9
SB + reRank	95.4	94.2
SB + GGT	94.6（+0.1）	85.7
SB + GGT+ reRank	96.2（+0.8）	94.7（+0.5）
SB + LGT	95.1（+0.6）	87.2（+1.3）
SB + LGT + reRank	95.9（+0.5）	94.4（+0.2）
FR	96. 3	90.3
FR+ reRank	96.8	95.3
FR + GGT	96.5（+0.2）	91.2（+0.9）
FR + GGT + reRank	96.9（+0.1）	95.6（+0.3）

方法	Rank-1	mAP
IANet（CVPR19）	94.4	83.1
DGNet（CVPR19）	94.8	86.0
SCAL （ICCV19）	95.8	89.3
Circle Loss （CVPR20）	96.1	87.4
SB （CVPR19）	94.5	85.9
SB + reRank	95.4	94.2
SB + GGT	94.6（+0.1）	85.7
SB + GGT+ reRank	96.2（+0.8）	94.7（+0.5）
SB + LGT	95.1（+0.6）	87.2（+1.3）
SB + LGT + reRank	95.9（+0.5）	94.4（+0.2）
FR	96. 3	90.3
FR+ reRank	96.8	95.3
FR + GGT	96.5（+0.2）	91.2（+0.9）
FR + GGT + reRank	96.9（+0.1）	95.6（+0.3）

方法	Rank-1	mAP
IANet（CVPR19）	87.1	73.4
DGNet（CVPR19）	86.6	74.8
SCAL （ICCV19）	89.0	79.6
SB （CVPR19）	86.4	76.4
SB + reRank	90.3	89.1
SB + GGT	87.8（+1.4）	77.3（+0.9）
SB + GGT+ reRank	90.9（+0.6）	89.2（+0.1）
SB + LGT	87.3（+0.9）	77.3（+0.9）
SB + LGT + reRank	91.0（+0.7）	89.4（+0.3）
FR	92.4	83.2
FR + reRank	94.4	92.2
FR + LGT	92.8（+0.4）	84.2（+1）
FR + LGT + reRank	94.3	92.7（+0.5）

基于灰度域特征增强的行人重识别方法

Person re-identification method based on grayscale feature enhancement

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 24

相关文章 15

编辑推荐

Metrics

方法	Rank-1	mAP
IANet （CVPR19）	75.5	46.8
DGNet（CVPR19）	77.2	52.3
RGA-SC（CVPR20）	80.3	57.5
AdaptiveReID	81.7	62.2
FR	85.1	63.3
FR + GGT（ours）	86.2（+1.1）	65.3（+2）
FR + GGT&LGT（ours）	86.2（+1.1）	65.9（+2.6）

方法	跨域方向
	M→D		D→M
	Rank-1	mAP	Rank-1	mAP
SB+REA+reRank	33.6	24.3	51.6	32.3
SB+REA+GGT+reRank	37.8	27.8	55.4	35.7
SB-REA+reRank	45.5	37.0	58.2	37.8
SB-REA+GGT+reRank	48.2	37.9	65.0	43.7

[1]	赵宏, 孔东一. 图像特征注意力与自适应注意力融合的图像内容中文描述[J]. 计算机应用, 2021, 41(9): 2496-2503.
[2]	徐江浪, 李林燕, 万新军, 胡伏原. 结合目标检测的室内场景识别方法[J]. 计算机应用, 2021, 41(9): 2720-2725.
[3]	郑志强, 胡鑫, 翁智, 王雨禾, 程曦. 基于改进DenseNet的牛眼图像特征提取方法[J]. 计算机应用, 2021, 41(9): 2780-2784.
[4]	谢德峰, 吉建民. 融入句法感知表示进行句法增强的语义解析[J]. 计算机应用, 2021, 41(9): 2489-2495.
[5]	代雨柔, 杨庆, 张凤荔, 周帆. 基于自监督学习的社交网络用户轨迹预测模型[J]. 计算机应用, 2021, 41(9): 2545-2551.
[6]	马佳良, 陈斌, 孙晓飞. 基于改进的Faster R-CNN的通用目标检测框架[J]. 计算机应用, 2021, 41(9): 2712-2719.
[7]	陈成瑞, 孙宁, 何世彪, 廖勇. 面向C-V2X通信的基于深度学习的联合信道估计与均衡算法[J]. 计算机应用, 2021, 41(9): 2687-2693.
[8]	何正海, 线岩团, 王蒙, 余正涛. 融合句法指导与字符注意力机制的案情阅读理解方法[J]. 计算机应用, 2021, 41(8): 2427-2431.
[9]	曹玉红, 徐海, 刘荪傲, 王紫霄, 李宏亮. 基于深度学习的医学影像分割研究综述[J]. 《计算机应用》唯一官方网站, 2021, 41(8): 2273-2287.
[10]	秦斌斌, 彭良康, 卢向明, 钱江波. 司机分心驾驶检测研究进展[J]. 计算机应用, 2021, 41(8): 2330-2337.
[11]	杜炎, 吕良福, 焦一辰. 基于模糊推理的模糊原型网络[J]. 计算机应用, 2021, 41(7): 1885-1890.
[12]	侯笑晗, 金国栋, 谭力宁, 薛远亮. 基于自适应和最优特征的合成孔径雷达舰船检测方法[J]. 计算机应用, 2021, 41(7): 2150-2155.
[13]	李亚芳, 梁烨, 冯韦玮, 祖宝开, 康玉健. 基于社区优化的深度网络嵌入方法[J]. 计算机应用, 2021, 41(7): 1956-1963.
[14]	高钦泉, 黄炳城, 刘文哲, 童同. 基于改进CenterNet的竹条表面缺陷检测方法[J]. 计算机应用, 2021, 41(7): 1933-1938.
[15]	王月, 江逸茗, 兰巨龙. 基于改进三元组网络和K近邻算法的入侵检测[J]. 计算机应用, 2021, 41(7): 1996-2002.