工业场景下基于秩信息对YOLOv4的剪枝

doi:10.11772/j.issn.1001-9081.2021030448

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1417-1423.DOI: 10.11772/j.issn.1001-9081.2021030448

所属专题：人工智能

工业场景下基于秩信息对YOLOv4的剪枝

秦晓¹^,², 成苗¹^,²^,³(), 张绍兵¹^,²^,³, 何莲¹^,³, 石向文¹^,², 王品学¹^,², 曾尚¹^,²

^1.中国科学院成都计算机应用研究所, 成都 610041
^2.中国科学院大学计算机科学与技术学院, 北京 100049
^3.深圳市中钞科信金融科技有限公司, 广东深圳 518206

收稿日期:2021-03-24 修回日期:2021-07-28 接受日期:2021-07-29 发布日期:2022-06-11 出版日期:2022-05-10
通讯作者: 成苗
作者简介:秦晓（1995—），男，四川成都人，硕士研究生，主要研究方向：人工智能、机器视觉
成苗（1983—），男，四川成都人，高级工程师，硕士，主要研究方向：人工智能、机器视觉 chengmiao@cbpm‑kexin.com
张绍兵（1979—），男，四川成都人，正研级高级工程师，硕士，主要研究方向：高速图像处理、缺陷检测、深度学习
何莲（1983—），女，四川西充人，高级工程师，博士，主要研究方向：人工智能、机器视觉
石向文（1991—），男，湖南永州人，硕士研究生，主要研究方向：人工智能
王品学（1993—），男，四川成都人，硕士研究生，CCF会员，主要研究方向：小样本学习、表面缺陷检测
曾尚（1995—），男，湖北荆门人，硕士研究生，主要研究方向：人工智能。

Pruning of YOLOv4 based on rank information in industrial scenes

Xiao QIN¹^,², Miao CHENG¹^,²^,³(), Shaobing ZHANG¹^,²^,³, Lian HE¹^,³, Xiangwen SHI¹^,², Pinxue WANG¹^,², Shang ZENG¹^,²

^1.Chengdu Institute of Computer Application，Chinese Academy of Sciences，Chengdu Sichuan 610041，China
^2.School of Computer Science and Technology，University of Chinese Academy of Sciences，Beijing 100049，China
^3.Shenzhen CBPM-KEXIN Banking Technology Company Limited，Shenzhen Guangdong 518206，China

Received:2021-03-24 Revised:2021-07-28 Accepted:2021-07-29 Online:2022-06-11 Published:2022-05-10
Contact: Miao CHENG
About author:QIN Xiao， born in 1995， M. S. candidate. His research interests include artificial intelligence， machine vision.
CHENG Miao， born in 1983， M. S.， senior engineer. His research interests include artificial intelligence， machine vision.
ZHANG Shaobing， born in 1979， M. S.， research senior engineer. His research interests include high-speed image processing， defect detection， deep learning.
HE Lian， born in 1983， Ph. D.， senior engineer. Her research interests include artificial intelligence， machine vision.
SHI Xiangwen， born in 1991， M. S. candidate. His research interests include artificial intelligence.
WANG Pinxue， born in 1993， M. S. candidate. His research interests include few-shot learning， surface defect detection.
ZENG Shang， born in 1995， M. S. candidate. His research interests include artificial intelligence.

摘要/Abstract

摘要：

在工业场景无线射频识别（RFID）实时缺陷检测任务中，为了保证检测精度以及速度常采用YOLO这类深度学习目标检测算法，然而这些算法仍然难以满足工业检测中的速度要求，且无法将相应的网络模型部署到资源受限的设备上。针对以上问题，需要对YOLO模型进行剪枝压缩，提出了一种基于秩信息的特征信息丰富性和特征信息多样性加权融合的新型网络剪枝方法。首先，加载未剪枝模型进行推理，并在前向传播中获取滤波器对应特征图的秩信息来衡量特征信息丰富性；然后，根据不同大小的剪枝率对秩信息进行聚类或者相似度计算来衡量特征信息的多样性；最后，加权融合得到对应滤波器的重要性程度并对其进行排序后，剪除重要性排序靠后的滤波器。实验结果表明，对于YOLOv4，在剪枝率为28.87%且特征信息丰富性权重为0.75的情况下，所提方法相较于单一使用特征图秩信息的方法提高了2.6%~8.9%的平均精度均值（mAP），所提方法剪枝后的模型甚至相较于未剪枝模型提高了0.4%的mAP并减少了35.0%的模型参数，表明该方法有利于模型部署。

关键词: 无线射频识别, YOLO, 网络剪枝, 特征信息丰富性, 特征信息多样性, 秩信息

Abstract:

In the Radio Frequency IDentification （RFID） real-time defect detection task in industrial scenes， the deep learning target detection algorithms such as You Only Look Once （YOLO） are often adopted in order to ensure the detection precision and speed. However， these algorithms are still difficult to meet the speed requirement of industrial detection， and the corresponding network models cannot be deployed on resource-constrained devices. To solve these problems， the YOLO model must be pruned and compressed. A new network pruning method of the weighted fusion of feature information richness and feature information diversity based on rank information was proposed. Firstly， the unpruned model was loaded and reasoned， and the rank information of the corresponding feature maps of the filters was obtained in forward propagation to measure the feature information richness. Secondly， according to the different pruning rates， the rank information was clustered or the similarity of the rank information was calculated to measure the feature information diversity. Finally， the importance degrees of the corresponding filters were obtained after the weighted fusion and were sorted， and the filters with low importance were cut off. Experimental results show that， for YOLOv4， when the pruning rate is 28.87% and the weight of feature information richness is 0.75， the proposed method has the mean Average Precision （mAP） improved by 2.6% $-$ 8.9% compared with the method that uses rank information of the feature maps alone， and the model pruned by the proposed method even has the mAP increased by 0.4% and the model parameters reduced by 35.0% compared with the unpruned model， indicating that the proposed method is conducive to the model deployment.

Key words: Radio Frequency IDentification (RFID), You Only Look Once (YOLO), network pruning, feature information richness, feature information diversity, rank information

中图分类号:

TP391.4

秦晓, 成苗, 张绍兵, 何莲, 石向文, 王品学, 曾尚. 工业场景下基于秩信息对YOLOv4的剪枝[J]. 计算机应用, 2022, 42(5): 1417-1423.

Xiao QIN, Miao CHENG, Shaobing ZHANG, Lian HE, Xiangwen SHI, Pinxue WANG, Shang ZENG. Pruning of YOLOv4 based on rank information in industrial scenes[J]. Journal of Computer Applications, 2022, 42(5): 1417-1423.

图/表 11

图1 RFID缺陷类别

Fig. 1 RFID defect category

图2 基于秩信息采取不同剪枝策略的剪枝结果

Fig. 2 Pruning results with different pruning strategies based on rank information

图3 YOLOv4中存在的不同特征融合结构

Fig. 3 Different feature fusion structures existing in YOLOv4 layer

图4 剪枝率与秩浮动范围的关系

Fig. 4 Relationship between pruning rate and rank fluctuation range

图5 YOLOv4剪枝层对应的秩浮动范围

Fig. 5 Rank fluctuation range corresponding to YOLOv4 pruning layer

图6 相似度计算算法与K-means算法对比

Fig. 6 Comparison of similarity calculation algorithm and K-means algorithm

图7 不同过程中的剪枝对比

Fig. 7 Pruning comparison among different processes

图8 随着α取值变化的mAP情况

Fig. 8 mAP with change of α value

图9 不同剪枝层对应的剪枝率

Fig. 9 Corresponding pruning rate of different pruning layer

表1 剪枝率为28.87%下的剪枝方法对比

Tab. 1 Comparison of pruning methods with pruning rate of 28.87%

剪枝方法	剪枝率/%	mAP/%	算力/GFLOPs	模型参数量/10⁹
未剪枝	0.00	85.1	106.1	255.8
HRank	28.87	83.2	77.2	166.4
FPGM	28.87	78.4	77.2	166.4
HRank+FPGM（ $α = 0.75$ ）	28.87	85.4	77.2	166.4
HRank+FPGM（ $α = 0.1$ ）	28.87	79.1	77.2	166.4
HRank+FPGM（ $α = 0.9$ ）	28.87	83.7	77.2	166.4
HRank+FPGM（ $α = 0.5$ ）	28.87	82.4	77.2	166.4
HRank+K-means（ $α = 0.75$ ）	28.87	84.2	77.2	166.4
HRank+K-means（ $α = 0.5$ ）	28.87	80.9	77.2	166.4

表1 剪枝率为28.87%下的剪枝方法对比

Tab. 1 Comparison of pruning methods with pruning rate of 28.87%

剪枝方法	剪枝率/%	mAP/%	算力/GFLOPs	模型参数量/10⁹
未剪枝	0.00	85.1	106.1	255.8
HRank	28.87	83.2	77.2	166.4
FPGM	28.87	78.4	77.2	166.4
HRank+FPGM（ $α = 0.75$ ）	28.87	85.4	77.2	166.4
HRank+FPGM（ $α = 0.1$ ）	28.87	79.1	77.2	166.4
HRank+FPGM（ $α = 0.9$ ）	28.87	83.7	77.2	166.4
HRank+FPGM（ $α = 0.5$ ）	28.87	82.4	77.2	166.4
HRank+K-means（ $α = 0.75$ ）	28.87	84.2	77.2	166.4
HRank+K-means（ $α = 0.5$ ）	28.87	80.9	77.2	166.4

表2 剪枝率为72.2%下的剪枝方法对比

Tab. 2 Comparison of pruning methods with pruning rate of 72.20%

剪枝方法	剪枝率/%	mAP/%	算力/GFLOPs	模型参数量/10⁹
HRank	72.20	82.3	43.0	72.6
FPGM	72.20	77.1	43.0	72.6
HRank+FPGM	72.20	77.7	43.0	72.6
HRank+K-means	72.20	82.7	43.0	72.6

参考文献 18

1	孟秋云，殷宪祯，徐鹤.基于USRP的无线射频识别平台设计与实现［J］.计算机技术与发展，2021，31（3）：168-173. 10.3969/j.issn.1673-629X.2021.03.029
	MENG Q Y， YIN X Z， XU H. Design and implementation of RFID platform based on USRP ［J］. Computer Technology and Development， 2021， 31（3）： 168-173. 10.3969/j.issn.1673-629X.2021.03.029
2	HAN S， POOL J， TRAN J， et al. Learning both weights and connections for efficient neural networks ［C］// Proceedings of the 2015 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 1135-1143.
3	CARREIRA-PERPINAN M A， IDELBAYEV Y. “Learning-compression” algorithms for neural net pruning ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8532-8541. 10.1109/cvpr.2018.00890
4	DONG X， CHEN S Y， PAN S J. Learning to prune deep neural networks via layer-wise optimal brain surgeon ［C］// Proceedings of the 2017 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 4860-4874. 10.48550/arXiv.1705.07565
5	GUO Y W， YAO A B， CHEN Y R. Dynamic network surgery for efficient DNNs ［C］// Proceedings of the 2016 30th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2016： 1387-1395.
6	HE Y， LIU P， WANG Z W， et al. Filter pruning via geometric median for deep convolutional neural networks acceleration ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4335-4344. 10.1109/cvpr.2019.00447
7	LIN M B， JI R R， WANG Y， et al. HRank： filter pruning using high-rank feature map ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1526-1535. 10.1109/cvpr42600.2020.00160
8	LUO J H， WU J X， LIN W Y. ThiNet： a filter level pruning method for deep neural network compression ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 5068-5076. 10.1109/iccv.2017.541
9	LIN M B， JI R R， ZHANG Y X， et al. Channel pruning via automatic structure search ［C］// Proceedings of the 2020 29th International Joint Conference on Artificial Intelligence. California： IJCAI Organization， 2020： 673-679. 10.24963/ijcai.2020/94
10	LI H， KADAV A， DURDANOVIC I， et al. Pruning filters for efficient ConvNets ［EB/OL］. ［2021-02-09］..
11	LIU Z， LI J G， SHEN Z Q， et al. Learning efficient convolutional networks through network slimming ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2755-2763. 10.1109/iccv.2017.298
12	WANG D， ZHOU L， ZHANG X N， et al. Exploring linear relationship in feature map subspace for ConvNets compression［EB/OL］. ［2021-02-09］. . 10.1109/cac53003.2021.9728083
13	LIU Z， SUN M J， ZHOU T H， et al. Rethinking the value of network pruning ［EB/OL］.［2021-02-09］. . 10.1002/mrm.27229
14	WANG C Y， LIAO H Y M， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1571-1580. 10.1109/cvprw50498.2020.00203
15	REDMON J， FARHADI A. YOLOv3： an incremental improvement ［EB/OL］. ［2021-02-09］. . 10.1109/cvpr.2018.00430
16	HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916. 10.1109/tpami.2015.2389824
17	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944. 10.1109/cvpr.2017.106
18	LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8759-8768. 10.1109/cvpr.2018.00913

[1]	李烨恒, 罗光圣, 苏前敏. 基于改进YOLOv5的Logo检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2580-2587.
[2]	龙伍丹, 彭博, 胡节, 申颖, 丁丹妮. 基于加强特征提取的道路病害检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2264-2270.
[3]	张勇进, 徐健, 张明星. 面向轻量化的改进YOLOv7棉杂检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2271-2278.
[4]	邓亚平, 李迎江. YOLO算法及其在自动驾驶场景中目标检测综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1949-1958.
[5]	耿焕同, 刘振宇, 蒋骏, 范子辰, 李嘉兴. 基于改进YOLOv8的嵌入式道路裂缝检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1613-1618.
[6]	宋霄罡, 张冬冬, 张鹏飞, 梁莉, 黑新宏. 面向复杂施工环境的实时目标检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1605-1612.
[7]	李鑫, 孟乔, 皇甫俊逸, 孟令辰. 基于分离式标签协同学习的YOLOv5多属性分类[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1619-1628.
[8]	黄子杰, 欧阳, 江德港, 郭彩玲, 李柏林. 面向牵引座焊缝表面质量检测的轻量型深度学习算法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 983-988.
[9]	张成涵宇, 林钰哲, 谭程珂, 王俊帆, 顾烨婷, 董哲康, 高明煜. 基于轻量化YOLOv5的新型菜品识别网络[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 638-644.
[10]	刘涛, 鞠事宏, 高一萌. 基于改进YOLOv8n的无人机视角下小目标检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3603-3609.
[11]	李大海, 李冰涛, 王振东. 基于改进YOLOv8的水下目标检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3610-3616.
[12]	阚绪康, 史格非, 杨雪榕. 基于动态特征点滤除与关键帧选择优化的ORB-SLAM2算法[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3185-3190.
[13]	王呈, 王炀, 荣英佼. 面向配电柜字符识别的YOLOv7-MSBP目标定位算法[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3191-3199.
[14]	赵旭剑, 李杭霖. 基于混合机制的深度神经网络压缩算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2686-2691.
[15]	段升位, 程欣宇, 王浩舟, 王飞. 基于改进的YOLOv5的大坝表面病害检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2619-2629.

工业场景下基于秩信息对YOLOv4的剪枝

Pruning of YOLOv4 based on rank information in industrial scenes

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 18

相关文章 15

编辑推荐

Metrics