工业场景下基于秩信息对YOLOv4的剪枝

doi:10.11772/j.issn.1001-9081.2021030448

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1417-1423.DOI: 10.11772/j.issn.1001-9081.2021030448

工业场景下基于秩信息对YOLOv4的剪枝

秦晓¹^,², 成苗¹^,²^,³(), 张绍兵¹^,²^,³, 何莲¹^,³, 石向文¹^,², 王品学¹^,², 曾尚¹^,²

^1.中国科学院成都计算机应用研究所, 成都 610041
^2.中国科学院大学计算机科学与技术学院, 北京 100049
^3.深圳市中钞科信金融科技有限公司, 广东深圳 518206

收稿日期:2021-03-24 修回日期:2021-07-28 接受日期:2021-07-29 发布日期:2022-06-11 出版日期:2022-05-10
通讯作者: 成苗
作者简介:秦晓（1995—），男，四川成都人，硕士研究生，主要研究方向：人工智能、机器视觉
成苗（1983—），男，四川成都人，高级工程师，硕士，主要研究方向：人工智能、机器视觉 chengmiao@cbpm‑kexin.com
张绍兵（1979—），男，四川成都人，正研级高级工程师，硕士，主要研究方向：高速图像处理、缺陷检测、深度学习
何莲（1983—），女，四川西充人，高级工程师，博士，主要研究方向：人工智能、机器视觉
石向文（1991—），男，湖南永州人，硕士研究生，主要研究方向：人工智能
王品学（1993—），男，四川成都人，硕士研究生，CCF会员，主要研究方向：小样本学习、表面缺陷检测
曾尚（1995—），男，湖北荆门人，硕士研究生，主要研究方向：人工智能。

Pruning of YOLOv4 based on rank information in industrial scenes

Xiao QIN¹^,², Miao CHENG¹^,²^,³(), Shaobing ZHANG¹^,²^,³, Lian HE¹^,³, Xiangwen SHI¹^,², Pinxue WANG¹^,², Shang ZENG¹^,²

^1.Chengdu Institute of Computer Application，Chinese Academy of Sciences，Chengdu Sichuan 610041，China
^2.School of Computer Science and Technology，University of Chinese Academy of Sciences，Beijing 100049，China
^3.Shenzhen CBPM-KEXIN Banking Technology Company Limited，Shenzhen Guangdong 518206，China

Received:2021-03-24 Revised:2021-07-28 Accepted:2021-07-29 Online:2022-06-11 Published:2022-05-10
Contact: Miao CHENG
About author:QIN Xiao， born in 1995， M. S. candidate. His research interests include artificial intelligence， machine vision.
CHENG Miao， born in 1983， M. S.， senior engineer. His research interests include artificial intelligence， machine vision.
ZHANG Shaobing， born in 1979， M. S.， research senior engineer. His research interests include high-speed image processing， defect detection， deep learning.
HE Lian， born in 1983， Ph. D.， senior engineer. Her research interests include artificial intelligence， machine vision.
SHI Xiangwen， born in 1991， M. S. candidate. His research interests include artificial intelligence.
WANG Pinxue， born in 1993， M. S. candidate. His research interests include few-shot learning， surface defect detection.
ZENG Shang， born in 1995， M. S. candidate. His research interests include artificial intelligence.

摘要/Abstract

摘要：

在工业场景无线射频识别（RFID）实时缺陷检测任务中，为了保证检测精度以及速度常采用YOLO这类深度学习目标检测算法，然而这些算法仍然难以满足工业检测中的速度要求，且无法将相应的网络模型部署到资源受限的设备上。针对以上问题，需要对YOLO模型进行剪枝压缩，提出了一种基于秩信息的特征信息丰富性和特征信息多样性加权融合的新型网络剪枝方法。首先，加载未剪枝模型进行推理，并在前向传播中获取滤波器对应特征图的秩信息来衡量特征信息丰富性；然后，根据不同大小的剪枝率对秩信息进行聚类或者相似度计算来衡量特征信息的多样性；最后，加权融合得到对应滤波器的重要性程度并对其进行排序后，剪除重要性排序靠后的滤波器。实验结果表明，对于YOLOv4，在剪枝率为28.87%且特征信息丰富性权重为0.75的情况下，所提方法相较于单一使用特征图秩信息的方法提高了2.6%~8.9%的平均精度均值（mAP），所提方法剪枝后的模型甚至相较于未剪枝模型提高了0.4%的mAP并减少了35.0%的模型参数，表明该方法有利于模型部署。

关键词: 无线射频识别, YOLO, 网络剪枝, 特征信息丰富性, 特征信息多样性, 秩信息

Abstract:

In the Radio Frequency IDentification （RFID） real-time defect detection task in industrial scenes， the deep learning target detection algorithms such as You Only Look Once （YOLO） are often adopted in order to ensure the detection precision and speed. However， these algorithms are still difficult to meet the speed requirement of industrial detection， and the corresponding network models cannot be deployed on resource-constrained devices. To solve these problems， the YOLO model must be pruned and compressed. A new network pruning method of the weighted fusion of feature information richness and feature information diversity based on rank information was proposed. Firstly， the unpruned model was loaded and reasoned， and the rank information of the corresponding feature maps of the filters was obtained in forward propagation to measure the feature information richness. Secondly， according to the different pruning rates， the rank information was clustered or the similarity of the rank information was calculated to measure the feature information diversity. Finally， the importance degrees of the corresponding filters were obtained after the weighted fusion and were sorted， and the filters with low importance were cut off. Experimental results show that， for YOLOv4， when the pruning rate is 28.87% and the weight of feature information richness is 0.75， the proposed method has the mean Average Precision （mAP） improved by 2.6% $-$ 8.9% compared with the method that uses rank information of the feature maps alone， and the model pruned by the proposed method even has the mAP increased by 0.4% and the model parameters reduced by 35.0% compared with the unpruned model， indicating that the proposed method is conducive to the model deployment.

Key words: Radio Frequency IDentification (RFID), You Only Look Once (YOLO), network pruning, feature information richness, feature information diversity, rank information

中图分类号:

TP391.4

秦晓, 成苗, 张绍兵, 何莲, 石向文, 王品学, 曾尚. 工业场景下基于秩信息对YOLOv4的剪枝[J]. 计算机应用, 2022, 42(5): 1417-1423.

Xiao QIN, Miao CHENG, Shaobing ZHANG, Lian HE, Xiangwen SHI, Pinxue WANG, Shang ZENG. Pruning of YOLOv4 based on rank information in industrial scenes[J]. Journal of Computer Applications, 2022, 42(5): 1417-1423.

图/表 11

图1 RFID缺陷类别

Fig. 1 RFID defect category

图2 基于秩信息采取不同剪枝策略的剪枝结果

Fig. 2 Pruning results with different pruning strategies based on rank information

图3 YOLOv4中存在的不同特征融合结构

Fig. 3 Different feature fusion structures existing in YOLOv4 layer

图4 剪枝率与秩浮动范围的关系

Fig. 4 Relationship between pruning rate and rank fluctuation range

图5 YOLOv4剪枝层对应的秩浮动范围

Fig. 5 Rank fluctuation range corresponding to YOLOv4 pruning layer

图6 相似度计算算法与K-means算法对比

Fig. 6 Comparison of similarity calculation algorithm and K-means algorithm

图7 不同过程中的剪枝对比

Fig. 7 Pruning comparison among different processes

图8 随着α取值变化的mAP情况

Fig. 8 mAP with change of α value

图9 不同剪枝层对应的剪枝率

Fig. 9 Corresponding pruning rate of different pruning layer

表1 剪枝率为28.87%下的剪枝方法对比

Tab. 1 Comparison of pruning methods with pruning rate of 28.87%

剪枝方法	剪枝率/%	mAP/%	算力/GFLOPs	模型参数量/10⁹
未剪枝	0.00	85.1	106.1	255.8
HRank	28.87	83.2	77.2	166.4
FPGM	28.87	78.4	77.2	166.4
HRank+FPGM（ $α = 0.75$ ）	28.87	85.4	77.2	166.4
HRank+FPGM（ $α = 0.1$ ）	28.87	79.1	77.2	166.4
HRank+FPGM（ $α = 0.9$ ）	28.87	83.7	77.2	166.4
HRank+FPGM（ $α = 0.5$ ）	28.87	82.4	77.2	166.4
HRank+K-means（ $α = 0.75$ ）	28.87	84.2	77.2	166.4
HRank+K-means（ $α = 0.5$ ）	28.87	80.9	77.2	166.4

表1 剪枝率为28.87%下的剪枝方法对比

Tab. 1 Comparison of pruning methods with pruning rate of 28.87%

剪枝方法	剪枝率/%	mAP/%	算力/GFLOPs	模型参数量/10⁹
未剪枝	0.00	85.1	106.1	255.8
HRank	28.87	83.2	77.2	166.4
FPGM	28.87	78.4	77.2	166.4
HRank+FPGM（ $α = 0.75$ ）	28.87	85.4	77.2	166.4
HRank+FPGM（ $α = 0.1$ ）	28.87	79.1	77.2	166.4
HRank+FPGM（ $α = 0.9$ ）	28.87	83.7	77.2	166.4
HRank+FPGM（ $α = 0.5$ ）	28.87	82.4	77.2	166.4
HRank+K-means（ $α = 0.75$ ）	28.87	84.2	77.2	166.4
HRank+K-means（ $α = 0.5$ ）	28.87	80.9	77.2	166.4

表2 剪枝率为72.2%下的剪枝方法对比

Tab. 2 Comparison of pruning methods with pruning rate of 72.20%

剪枝方法	剪枝率/%	mAP/%	算力/GFLOPs	模型参数量/10⁹
HRank	72.20	82.3	43.0	72.6
FPGM	72.20	77.1	43.0	72.6
HRank+FPGM	72.20	77.7	43.0	72.6
HRank+K-means	72.20	82.7	43.0	72.6

参考文献 18

1	孟秋云，殷宪祯，徐鹤.基于USRP的无线射频识别平台设计与实现［J］.计算机技术与发展，2021，31（3）：168-173. 10.3969/j.issn.1673-629X.2021.03.029
	MENG Q Y， YIN X Z， XU H. Design and implementation of RFID platform based on USRP ［J］. Computer Technology and Development， 2021， 31（3）： 168-173. 10.3969/j.issn.1673-629X.2021.03.029
2	HAN S， POOL J， TRAN J， et al. Learning both weights and connections for efficient neural networks ［C］// Proceedings of the 2015 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 1135-1143.
3	CARREIRA-PERPINAN M A， IDELBAYEV Y. “Learning-compression” algorithms for neural net pruning ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8532-8541. 10.1109/cvpr.2018.00890
4	DONG X， CHEN S Y， PAN S J. Learning to prune deep neural networks via layer-wise optimal brain surgeon ［C］// Proceedings of the 2017 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 4860-4874. 10.48550/arXiv.1705.07565
5	GUO Y W， YAO A B， CHEN Y R. Dynamic network surgery for efficient DNNs ［C］// Proceedings of the 2016 30th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2016： 1387-1395.
6	HE Y， LIU P， WANG Z W， et al. Filter pruning via geometric median for deep convolutional neural networks acceleration ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4335-4344. 10.1109/cvpr.2019.00447
7	LIN M B， JI R R， WANG Y， et al. HRank： filter pruning using high-rank feature map ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1526-1535. 10.1109/cvpr42600.2020.00160
8	LUO J H， WU J X， LIN W Y. ThiNet： a filter level pruning method for deep neural network compression ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 5068-5076. 10.1109/iccv.2017.541
9	LIN M B， JI R R， ZHANG Y X， et al. Channel pruning via automatic structure search ［C］// Proceedings of the 2020 29th International Joint Conference on Artificial Intelligence. California： IJCAI Organization， 2020： 673-679. 10.24963/ijcai.2020/94
10	LI H， KADAV A， DURDANOVIC I， et al. Pruning filters for efficient ConvNets ［EB/OL］. ［2021-02-09］..
11	LIU Z， LI J G， SHEN Z Q， et al. Learning efficient convolutional networks through network slimming ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2755-2763. 10.1109/iccv.2017.298
12	WANG D， ZHOU L， ZHANG X N， et al. Exploring linear relationship in feature map subspace for ConvNets compression［EB/OL］. ［2021-02-09］. . 10.1109/cac53003.2021.9728083
13	LIU Z， SUN M J， ZHOU T H， et al. Rethinking the value of network pruning ［EB/OL］.［2021-02-09］. . 10.1002/mrm.27229
14	WANG C Y， LIAO H Y M， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1571-1580. 10.1109/cvprw50498.2020.00203
15	REDMON J， FARHADI A. YOLOv3： an incremental improvement ［EB/OL］. ［2021-02-09］. . 10.1109/cvpr.2018.00430
16	HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916. 10.1109/tpami.2015.2389824
17	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944. 10.1109/cvpr.2017.106
18	LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8759-8768. 10.1109/cvpr.2018.00913

[1]	张锦, 屈佩琪, 孙程, 罗蒙. 基于改进YOLOv5的安全帽佩戴检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1292-1300.
[2]	蔡前舟, 郑伯川, 曾祥银, 侯金. 结合长尾数据解决方法的野生动物目标检测[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1284-1291.
[3]	邓天民, 冒国韬, 周臻浩, 段志坚. 基于密集连接卷积神经网络的道路车辆检测与识别算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 883-889.
[4]	王品学, 张绍兵, 成苗, 何莲, 秦小山. 基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 638-645.
[5]	佘维, 郑倩, 田钊, 刘炜, 李英豪. 基于双重检测的气门识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 273-279.
[6]	吴恺凡, 殷新春. 基于随机运算符的轻量级匿名射频识别系统双向认证协议[J]. 计算机应用, 2021, 41(6): 1621-1630.
[7]	张明明, 卢庆宁, 李文中, 宋浒. 基于联合动态剪枝的深度神经网络压缩算法[J]. 计算机应用, 2021, 41(6): 1589-1596.
[8]	谭兆一, 陈白帆. 基于坐标逆映射的增强型车辆三维全景影像[J]. 计算机应用, 2021, 41(4): 1165-1171.
[9]	郭文旭, 苏远歧, 刘跃虎. 基于ZYNQ平台的YOLOv3压缩和加速[J]. 计算机应用, 2021, 41(3): 669-676.
[10]	曹建荣, 吕俊杰, 武欣莹, 张旭, 杨红娟. 融合运动特征和深度学习的跌倒检测算法[J]. 计算机应用, 2021, 41(2): 583-589.
[11]	徐婉晴, 王保栋, 黄艺美, 李金屏. 基于人体骨骼关键点的吸烟行为检测算法[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3602-3607.
[12]	楼豪杰, 郑元林, 廖开阳, 雷浩, 李佳. 基于Siamese-YOLOv4的印刷品缺陷目标检测[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3206-3212.
[13]	袁野, 谭晓阳. 复杂环境下的冰箱金属表面缺陷检测[J]. 计算机应用, 2021, 41(1): 270-274.
[14]	聂鑫, 刘文, 吴巍. 复杂场景下基于增强YOLOv3的船舶目标检测[J]. 计算机应用, 2020, 40(9): 2561-2570.
[15]	刘丹, 吴亚娟, 罗南超, 郑伯川. 嵌入注意力和特征交织模块的Gaussian-YOLO v3目标检测[J]. 计算机应用, 2020, 40(8): 2225-2230.

工业场景下基于秩信息对YOLOv4的剪枝

Pruning of YOLOv4 based on rank information in industrial scenes

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 18

相关文章 15

编辑推荐

Metrics