基于改进YOLOv4的轻量化目标检测算法

doi:10.11772/j.issn.1001-9081.2021050734

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2201-2209.DOI: 10.11772/j.issn.1001-9081.2021050734

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于改进YOLOv4的轻量化目标检测算法

钟志峰, 夏一帆(), 周冬平, 晏阳天

湖北大学计算机与信息工程学院，武汉 430062

收稿日期:2021-05-10 修回日期:2021-09-22 接受日期:2021-09-24 发布日期:2021-09-22 出版日期:2022-07-10
通讯作者: 夏一帆
作者简介:钟志峰（1971—），男，湖北黄冈人，教授，博士，主要研究方向：人工智能、信号处理、系统集成
周冬平（1997—），男，湖北随州人，硕士研究生，主要研究方向：推荐系统、知识图谱
晏阳天（1997—），男，湖北孝感人，硕士研究生，主要研究方向：深度学习、自然语言处理。
基金资助:
湖北省技术创新专项(2018ACA13)

Lightweight object detection algorithm based on improved YOLOv4

Zhifeng ZHONG, Yifan XIA(), Dongping ZHOU, Yangtian YAN

School of Computer Science and Information Engineering，Hubei University，Wuhan Hubei 430062，China

Received:2021-05-10 Revised:2021-09-22 Accepted:2021-09-24 Online:2021-09-22 Published:2022-07-10
Contact: Yifan XIA
About author:ZHONG Zhifeng， born in 1971， Ph. D.， professor. His research interests include artificial intelligence， signal processing， system integration.
ZHOU Dongping， born in 1997， M. S. candidate. His research interests include recommender system， knowledge graph.
YAN Yangtian， born in 1997， M. S. candidate. His research interests include deep learning， natural language processing.
Supported by:
Hubei Province Technological Innovation Special Project(2018ACA13)

摘要/Abstract

摘要：

针对当前YOLOv4目标检测网络结构复杂、参数多、训练所需的配置高以及实时检测每秒传输帧数（FPS）低的问题，提出一种基于YOLOv4的轻量化目标检测算法ML-YOLO。首先，用MobileNetv3结构替换YOLOv4的主干特征提取网络，从而通过MobileNetv3中的深度可分离卷积大幅减少主干网络的参数量；然后，用简化的加权双向特征金字塔网络（Bi-FPN）结构替换YOLOv4的特征融合网络，从而用Bi-FPN中的注意力机制提高目标检测精度；最后，通过YOLOv4的解码算法来生成最终的预测框，并实现目标检测。在VOC2007数据集上的实验结果表明，ML-YOLO算法的平均准确率均值（mAP）达到80.22%，与YOLOv4算法相比降低了3.42个百分点，与YOLOv5m算法相比提升了2.82个百分点；而ML-YOLO算法的模型大小仅为44.75 MB，与YOLOv4算法相比减小了199.54 MB，与YOLOv5m算法相比，只高了2.85 MB。实验结果表明，所提的ML-YOLO模型，一方面较YOLOv4模型大幅减小了模型大小，另一方面保持了较高的检测精度，表明该算法可以满足移动端或者嵌入式设备进行目标检测的轻量化和准确性需求。

关键词: 目标检测, 轻量化网络, YOLOv4, MobileNetv3, 加权双向特征金字塔网络

Abstract:

YOLOv4 （You Only Look Once version 4） object detection network has complex structure， many parameters， high configuration required for training and low Frames Per Second （FPS） for real-time detection. In order to solve the above problems， a lightweight object detection algorithm based on YOLOv4， named ML-YOLO （MobileNetv3Lite-YOLO）， was proposed. Firstly， MobileNetv3 was used to replace the backbone feature extraction network of YOLOv4， which greatly reduced the amount of backbone network parameters through the depthwise separable convolution in MobileNetv3. Then， a simplified weighted Bi-directional Feature Pyramid Network （Bi-FPN） structure was used to replace the feature fusion network of YOLOv4. Therefore， the object detection accuracy was optimized by the attention mechanism in Bi-FPN. Finally， the final prediction box was generated through the YOLOv4 decoding algorithm， and the object detection was realized. Experimental results on VOC （Visual Object Classes） 2007 dataset show that the mean Average Precision （mAP） of the ML-YOLO algorithm reaches 80.22%， which is 3.42 percentage points lower than that of the YOLOv4 algorithm， and 2.82 percentage points higher than that of the YOLOv5m algorithm； at the same time， the model size of the ML-YOLO algorithm is only 44.75 MB， compared with the YOLOv4 algorithm， it is reduced by 199.54 MB， and compared with the YOLOv5m algorithm， it is only 2.85 MB larger. Experimental results prove that the proposed ML-YOLO model greatly reduces the size of the model compared with the YOLOv4 model while maintaining a higher detection accuracy， indicating that the proposed algorithm can meet the lightweight and accuracy requirements of mobile or embedded devices for object detection.

Key words: object detection, lightweight network, YOLOv4 （You Only Look Once version 4）, MobileNetv3, Bi-FPN （weighted Bi-directional Feature Pyramid Network）

中图分类号:

TP391.4

钟志峰, 夏一帆, 周冬平, 晏阳天. 基于改进YOLOv4的轻量化目标检测算法[J]. 计算机应用, 2022, 42(7): 2201-2209.

Zhifeng ZHONG, Yifan XIA, Dongping ZHOU, Yangtian YAN. Lightweight object detection algorithm based on improved YOLOv4[J]. Journal of Computer Applications, 2022, 42(7): 2201-2209.

图/表 14

图1 YOLOv4网络框架

Fig. 1 YOLOv4 network framework

图2 标准卷积和深度可分离卷积对比

Fig. 2 Comparison of standard convolution and depthwise separable convolution

图3 Bi-FPN结构

Fig. 3 Bi-FPN structure

图4 ML-YOLO网络框架

Fig. 4 ML-YOLO network framework

表 1 ML-YOLO 主干网络结构

Tab. 1 ML-YOLO backbone network structure

模块类型	卷积核数量	卷积核尺寸	输出特征图
Conv2d	16	$3 × 3 / 2$	$208 × 208 × 16$
bneck	16	$3 × 3$	$208 × 208 × 16$
bneck	24	$3 × 3 / 2$	$104 × 104 × 24$
bneck	24	$3 × 3 / 2$	$104 × 104 × 24$
bneck，SE	40	$5 × 5 / 2$	$52 × 52 × 40$
bneck×2，SE	40	$5 × 5$	$52 × 52 × 40$
bneck	80	$3 × 3 / 2$	$26 × 26 × 80$
bneck×3	80	$3 × 3$	$26 × 26 × 80$
bneck，SE	112	$3 × 3$	$26 × 26 × 112$
bneck，SE	112	$3 × 3$	$26 × 26 × 112$
bneck，SE	160	$5 × 5 / 2$	$13 × 13 × 160$
bneck×2，SE	160	$5 × 5$	$13 × 13 × 160$

表 1 ML-YOLO 主干网络结构

Tab. 1 ML-YOLO backbone network structure

模块类型	卷积核数量	卷积核尺寸	输出特征图
Conv2d	16	$3 × 3 / 2$	$208 × 208 × 16$
bneck	16	$3 × 3$	$208 × 208 × 16$
bneck	24	$3 × 3 / 2$	$104 × 104 × 24$
bneck	24	$3 × 3 / 2$	$104 × 104 × 24$
bneck，SE	40	$5 × 5 / 2$	$52 × 52 × 40$
bneck×2，SE	40	$5 × 5$	$52 × 52 × 40$
bneck	80	$3 × 3 / 2$	$26 × 26 × 80$
bneck×3	80	$3 × 3$	$26 × 26 × 80$
bneck，SE	112	$3 × 3$	$26 × 26 × 112$
bneck，SE	112	$3 × 3$	$26 × 26 × 112$
bneck，SE	160	$5 × 5 / 2$	$13 × 13 × 160$
bneck×2，SE	160	$5 × 5$	$13 × 13 × 160$

图5 bneck结构

Fig. 5 bneck structure

图 6 VOC2007数据集

Fig. 6 VOC2007 dataset

图 7 验证VOC2007数据集上的训练效果

Fig. 7 Verifying training effect on VOC2007 dataset

表 2 ML-YOLO消融实验

Tab. 2 ML-YOLO ablation experiment

算法	mAP/%	参数量	模型大小/MB	FPS
YOLOv4	83.64	64 040 001	244.29	6.33
YOLOv4+dw	82.98	37 085 633	141.47	8.33
YOLOv4+MobileNetv3+dw	77.48	11 729 069	44.74	14.65
YOLOv4+Bi-FPN-Lite+dw	84.50	37 439 425	142.82	10.84
ML-YOLO（MobileNetv3+ Bi-FPN-Lite+dw）	80.22	11 731 373	44.75	14.15

图 8 ML-YOLO与YOLOv4实时检测FPS对比

Fig. 8 Comparison of real-time FPS detection between ML-YOLO and YOLOv4

图 9 算法在VOC测试集上的检测结果

Fig. 9 Test results of algorithms on VOC test dataset

图 10 ML-YOLO与YOLOv4检测效果对比

Fig. 10 Comparison of detection effect between ML-YOLO and YOLOv4

图 11 ML-YOLO与YOLOv4检测细节对比

Fig. 11 Comparison of detection details between ML-YOLO and YOLOv4

表 3 ML-YOLO与其他算法对比

Tab. 3 Comparison of ML-YOLO with other algorithms

算法	输入尺寸	模型大小/MB	mAP/%	FPS
YOLOv4-Tiny	416×416	22.58	68.61	20.18
YOLOv4	416×416	244.29	83.64	6.33
YOLOv5s	640×640	14.50	68.00	22.63
YOLOv5m	640×640	41.90	77.40	16.88
EfficientDet-d0	512×512	15.10	72.55	18.56
EfficientDet-d1	640×640	25.74	77.71	14.88
CenterNet	512×512	124.00	77.10	10.35
ML-YOLO	416×416	44.75	80.22	14.15

参考文献 23

1	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788. 10.1109/cvpr.2016.91
2	REDMON J， FARHADI A. YOLO9000： better， faster， stronger［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6517-6525. 10.1109/cvpr.2017.690
3	REDMON J， FARHADI A. YOLOv3： an incremental improvement［EB/OL］. （2018-04-08）［2021-04-08］..
4	BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection［EB/OL］. （2020-04-23）［2021-04-08］..
5	GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 580-587. 10.1109/cvpr.2014.81
6	GIRSHICK R. Fast R-CNN［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1440-1448. 10.1109/iccv.2015.169
7	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）：1137-1149. 10.1109/tpami.2016.2577031
8	ZOU Z X， SHI Z W， GUO Y H， et al. Object detection in 20 years： a survey［EB/OL］. （2019-05-16）［2021-04-08］..
9	JOCHER G. YOLOv5［EB/OL］. ［2021-04-08］..
10	齐榕，贾瑞生，徐志峰，等. 基于YOLOv3的轻量级目标检测网络［J］. 计算机应用与软件， 2020， 37（10）：208-213. 10.3969/j.issn.1000-386x.2020.10.033
	QI R， JIA R S， XU Z F， et al. Lightweight object detection network based on YOLOv3 ［J］. Computer Applications and Software， 2020， 37（10）：208-213. 10.3969/j.issn.1000-386x.2020.10.033
11	JIN Y Z， WEN Y X， LIANG J T. Embedded real-time pedestrian detection system using YOLO optimized by LNN［C］// Proceedings of the 2020 International Conference on Electrical， Communication， and Computer Engineering. Piscataway： IEEE， 2020： 1-5. 10.1109/icecce49384.2020.9179384
12	黄靖淞，左颢睿，张建林. 轻量化目标检测算法研究及应用［J］. 计算机工程， 2021， 47（10）：236-241.
	HUANG J S， ZUO H R， ZHANG J L. Research and application on lightweight object detection algorithm［J］. Computer Engineering， 2021， 47（10）：236-241.
13	邵伟平，王兴，曹昭睿，等. 基于MobileNet与YOLOv3的轻量化卷积神经网络设计［J］. 计算机应用， 2020， 40（S1）：8-13.
	SHAO W P， WANG X， CAO Z R， et al. Design of lightweight convolutional neural network based on MobileNet and YOLOv3［J］. Journal of Computer Applications， 2020， 40（S1）：8-13.
14	HOWARD A G， ZHU M L， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications［EB/OL］. （2017-04-17）［2021-04-08］..
15	SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4510-4520. 10.1109/cvpr.2018.00474
16	HOWARD A， SANDLER M， CHEN B， et al. Searching for MobileNetV3［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 1314-1324. 10.1109/iccv.2019.00140
17	冯媛，李敬兆. 改进的卷积神经网络行人检测方法［J］. 计算机工程与设计， 2020， 41（5）：1452-1457.
	FENG Y， LI J Z. Improved convolutional neural network pedestrian detection method［J］. Computer Engineering and Design， 2020， 41（5）：1452-1457.
18	HU X L， LIU Y， ZHAO Z X， et al. Real-time detection of uneaten feed pellets in underwater images for aquaculture using an improved YOLO-V4 network［J］. Computers and Electronics in Agriculture， 2021， 185： No.106135. 10.1016/j.compag.2021.106135
19	FANG W， WANG L， REN P M. Tinier-YOLO： a real-time object detection method for constrained environments［J］. IEEE Access， 2020， 8： 1935-1944. 10.1109/access.2019.2961959
20	TAN M X， PANG R M， LE Q V. EfficientDet： scalable and efficient object detection［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 10778-10787. 10.1109/cvpr42600.2020.01079
21	HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916. 10.1109/tpami.2015.2389824
22	WANG W H， XIE E Z， SONG X G， et al. Efficient and accurate arbitrary-shaped text detection with pixel aggregation network［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 8439-8448. 10.1109/iccv.2019.00853
23	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	张英俊, 李牛牛, 谢斌红, 张睿, 陆望东. 课程学习指导下的半监督目标检测框架[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2326-2333.
[3]	李烨恒, 罗光圣, 苏前敏. 基于改进YOLOv5的Logo检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2580-2587.
[4]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[5]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.
[6]	姬张建, 杜娜. 基于改进VariFocalNet的微小目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2200-2207.
[7]	刘越, 刘芳, 武奥运, 柴秋月, 王天笑. 基于自注意力机制与图卷积的3D目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1972-1977.
[8]	邓亚平, 李迎江. YOLO算法及其在自动驾驶场景中目标检测综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1949-1958.
[9]	耿焕同, 刘振宇, 蒋骏, 范子辰, 李嘉兴. 基于改进YOLOv8的嵌入式道路裂缝检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1613-1618.
[10]	宋霄罡, 张冬冬, 张鹏飞, 梁莉, 黑新宏. 面向复杂施工环境的实时目标检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1605-1612.
[11]	李鸿天, 史鑫昊, 潘卫国, 徐成, 徐冰心, 袁家政. 融合多尺度和注意力机制的小样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1437-1444.
[12]	陈天华, 朱家煊, 印杰. 基于注意力机制的鸟类识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1114-1120.
[13]	王伟, 赵春辉, 唐心瑶, 席刘钢. 自适应地平线约束下的车辆三维检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 909-915.
[14]	郑宇亮, 陈云华, 白伟杰, 陈平华. 融合事件数据和图像帧的车辆目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 931-937.
[15]	李新叶, 侯晔凝, 孔英会, 燕志旗. 结合特征融合与增强注意力的少样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 745-751.

基于改进YOLOv4的轻量化目标检测算法

Lightweight object detection algorithm based on improved YOLOv4

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 23

相关文章 15

编辑推荐

Metrics