基于改进YOLOv8的嵌入式道路裂缝检测算法

doi:10.11772/j.issn.1001-9081.2023050635

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (5): 1613-1618.DOI: 10.11772/j.issn.1001-9081.2023050635

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于改进YOLOv8的嵌入式道路裂缝检测算法

耿焕同¹^,², 刘振宇¹(), 蒋骏¹, 范子辰³, 李嘉兴¹

^1.南京信息工程大学计算机学院, 南京 210044
^2.江苏开放大学信息工程学院, 南京 210036
^3.南京信息工程大学软件学院, 南京 210044

收稿日期:2023-05-22 修回日期:2023-08-16 接受日期:2023-08-18 发布日期:2023-09-01 出版日期:2024-05-10
通讯作者: 刘振宇
作者简介:耿焕同（1973—），男，安徽宣城人，教授，博士生导师，博士，CCF高级会员，主要研究方向：多目标优化、深度学习
蒋骏（1998—），男，安徽马鞍山人，硕士研究生，主要研究方向：迁移学习、目标检测
范子辰（2001—），男，江苏宿迁人，硕士研究生，主要研究方向：人工智能、目标检测
李嘉兴（2000—），男，山西长治人，硕士研究生，主要研究方向：模型压缩、语义分割。
第一联系人：刘振宇（1999—），男，安徽淮北人，硕士研究生，主要研究方向：人工智能、目标检测
基金资助:
国家自然科学基金资助项目(51977100)

Embedded road crack detection algorithm based on improved YOLOv8

Huantong GENG¹^,², Zhenyu LIU¹(), Jun JIANG¹, Zichen FAN³, Jiaxing LI¹

^1.School of Computer Science，Nanjing University of Information Science and Technology，Nanjing Jiangsu 210044，China
^2.School of Information Technology，Jiangsu Open University，Nanjing Jiangsu 210036，China
^3.School of Software，Nanjing University of Information Science and Technology，Nanjing Jiangsu 210044，China

Received:2023-05-22 Revised:2023-08-16 Accepted:2023-08-18 Online:2023-09-01 Published:2024-05-10
Contact: Zhenyu LIU
About author:GENG Huantong， born in 1973， Ph. D.， professor. His research interests include multi-objective optimization， deep learning.
JIANG Jun， born in 1998， M. S. candidate. His research interests include transfer learning， target detection.
FAN Zichen， born in 2001， M. S. candidate. His research interests include artificial intelligence， target detection.
LI Jiaxing， born in 2000， M. S. candidate. His research interests include model compression， semantic segmentation.
Supported by:
National Natural Science Foundation of China(51977100)

摘要/Abstract

摘要：

在边缘端设备部署YOLOv8L模型进行道路裂缝检测可以实现较高的精度，但难以保证实时检测。针对此问题，提出一种可部署到边缘计算设备Jetson AGX Xavier上的基于改进YOLOv8模型的目标检测算法。首先，利用部分卷积设计Faster Block结构以替换YOLOv8 C2f模块中的Bottleneck结构，并将改进后的C2f模块记为C2f-Faster；其次，在YOLOv8主干网络中的每个C2f-Faster模块之后接一个SE（Squeeze-and-Excitation）通道注意力层，进一步提高检测的精度。在开源道路损害数据集RDD20（Road Damage Detection 20）上的实验结果表明：所提方法的平均F1得分为0.573，每秒检测帧数（FPS）为47，模型大小为55.5 MB，相较于GRDDC2020 （Global Road Damage Detection Challenge 2020）的SOTA（State-Of-The-Art）模型，F1得分提高了0.8个百分点，FPS提高了291.7%，模型大小减小了41.8%，实现了在边缘设备上对道路裂缝实时且准确的检测。

关键词: YOLOv8, 目标检测, 轻量化, 注意力机制, 道路裂缝

Abstract:

Deploying the YOLOv8L model on edge devices for road crack detection can achieve high accuracy， but it is difficult to guarantee real-time detection. To solve this problem， a target detection algorithm based on the improved YOLOv8 model that can be deployed on the edge computing device Jetson AGX Xavier was proposed. First， the Faster Block structure was designed using partial convolution to replace the Bottleneck structure in the YOLOv8 C2f module， and the improved C2f module was recorded as C2f-Faster； second， an SE （Squeeze-and-Excitation） channel attention layer was connected after each C2f-Faster module in the YOLOv8 backbone network to further improve the detection accuracy. Experimental results on the open source road damage dataset RDD20 （Road Damage Detection 20） show that the average F1 score of the proposed method is 0.573， the number of detection Frames Per Second （FPS） is 47， and the model size is 55.5 MB. Compared with the SOTA （State-Of-The-Art） model of GRDDC2020 （Global Road Damage Detection Challenge 2020）， the F1 score is increased by 0.8 percentage points， the FPS is increased by 291.7%， and the model size is reduced by 41.8%， which realizes the real-time and accurate detection of road cracks on edge devices.

Key words: YOLOv8 (You Only Look Once version 8), object detection, lightweight, attention mechanism, road crack

中图分类号:

TP391.41

耿焕同, 刘振宇, 蒋骏, 范子辰, 李嘉兴. 基于改进YOLOv8的嵌入式道路裂缝检测算法[J]. 计算机应用, 2024, 44(5): 1613-1618.

Huantong GENG, Zhenyu LIU, Jun JIANG, Zichen FAN, Jiaxing LI. Embedded road crack detection algorithm based on improved YOLOv8[J]. Journal of Computer Applications, 2024, 44(5): 1613-1618.

图/表 10

参考文献 17

1	GUNAWAN， FADILLAH M F， PRAKASA E， et al. Road segmentation with U-Net architecture using Jetson AGX Xavier for autonomous vehicle ［C］// Proceedings of the 2022 16th International Conference on Telecommunication Systems， Services， and Applications. Piscataway： IEEE， 2022：1-5. 10.1109/tssa56819.2022.10063891
2	DEXTRE M， ROSAS O， LAZO J， et al. Gun detection in real-time， using YOLOv5 on Jetson AGX Xavier ［C］// Proceedings of the 2021 XLVII Latin American Computing Conference. Piscataway： IEEE， 2021：1-7. 10.1109/clei53233.2021.9640100
3	Y-C CHIU， C-Y TSAI， RUAN M-D， et al. Mobilenet-SSDv2： an improved object detection model for embedded systems ［C］// Proceedings of the 2020 International Conference on System Science and Engineering. Piscataway： IEEE， 2020：1-5. 10.1109/icsse50014.2020.9219319
4	任安虎，姜子渊，马晨浩. 基于改进YOLOv5s的道路裂缝检测算法［J/OL］.激光杂志（2023-06-27）［2023-08-12］. . 10.1117/12.3004878
	REN A H， JIANG Z Y， MA C H. Road crack detection algorithm based on improved YOLOv 5s ［J/OL］. Laser Journal （2023-06-27）［2023-08-12］. . 10.1117/12.3004878
5	郝巨鸣，杨景玉，韩淑梅，等.引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法［J］.计算机应用，2023，43（4）：1284-1290. 10.11772/j.issn.1001-9081.2022030410
	HAO J M， YANG J Y， HAN S M， et al. YOLOv4 highway pavement crack detection method using Ghost module and ECA ［J］. Journal of Computer Applications， 2023，43（4）：1284-1290. 10.11772/j.issn.1001-9081.2022030410
6	CHEN J， S-H KAO， HE H， et al. Run， don’t walk： chasing higher FLOPS for faster neural networks ［EB/OL］. （2023-04-04）［2023-04-16］. . 10.1109/cvpr52729.2023.01157
7	HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：7132-7141. 10.1109/cvpr.2018.00745
8	于海洋，景鹏，张文涛，等. 基于残差与注意力机制的道路裂缝检测U-Net改进模型［J］. 计算机工程， 2023， 49（6）： 265-273.
	YU H Y， JING P， ZHANG W T， et al. Improved U-Net model for road crack detection based on residual and attention mechanism［J］. Computer Engineering， 2023， 49（6）： 265-273.
9	张海川，彭博，许伟强.基于UNet++及条件生成对抗网络的道路裂缝检测［J］.计算机应用，2020，40（S2）：158-161. 10.11772/j.issn.1001-9081.2020020197
	ZHANG H C， PENG B， XU W Q. Road crack detection based on UNet++ and conditional generative adversarial nets ［J］. Journal of Computer Applications， 2020， 40（S2）： 158-161. 10.11772/j.issn.1001-9081.2020020197
10	刘宇翔，佘维，沈占峰，等.ERCUnet：一种基于U-Net改进的道路裂缝检测模型［J］.计算机与现代化，2022（7）：33-39，53. 10.3969/j.issn.1006-2475.2022.07.006
	LIU Y X， SHE W， SHEN Z F， et al. ERCUnet： an improved road crack detection model based on U-Net ［J］. Computer and Modernization， 2022（7）： 33-39，53. 10.3969/j.issn.1006-2475.2022.07.006
11	ARYA D， MAEDA H， GHOSH S K， et al. Transfer learning-based road damage detection for multiple countries ［EB/OL］. （2020-08-30）［2023-04-15］. . 10.1016/j.autcon.2021.103935
12	HOWARD A G， ZHU M， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications ［EB/OL］. ［2023-04-15］. . 10.48550/arXiv.1704.04861
13	SANDLER M， HOWARD A， ZHU M， et al. MobileNetv2： Inverted residuals and linear bottlenecks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4510-4520. 10.1109/cvpr.2018.00474
14	HOWARD A， SANDLER M， CHEN B， et al. Searching for MobileNetV3 ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 1314-1324. 10.1109/iccv.2019.00140
15	DOSHI K， YILMAZ Y. Road damage detection using deep ensemble learning ［C］// Proceedings of the 2020 IEEE International Conference on Big Data. Piscataway： IEEE， 2020： 5540-5544. 10.1109/bigdata50022.2020.9377774
16	ARYA D， MAEDA H， GHOSH S K， et al. Deep learning-based road damage detection and classification for multiple countries ［J］. Automation in Construction， 2021， 132： 103935. 10.1016/j.autcon.2021.103935
17	GENG H， JIANG J， SHEN J， et al. Cascading alignment for unsupervised domain adaptive DETR with improved denoising anchor boxes ［J］. Sensors， 2022， 22： 9629. 10.3390/s22249629

卷积通道占比	F₁	GFLOPs	模型大小/MB
1/8	0.547	91.3	48.2
1/4	0.558	93.6	49.2
1/2	0.559	102.6	53.6

卷积通道占比	F₁	GFLOPs	模型大小/MB
1/8	0.547	91.3	48.2
1/4	0.558	93.6	49.2
1/2	0.559	102.6	53.6

Faster Block	SE-Attention	F₁	FPS	模型大小/MB
		0.565	8	83.6
√		0.558	15	49.2
	√	0.583	8	83.8
√	√	0.575	15	49.4

Faster Block	SE-Attention	F₁	FPS	模型大小/MB
		0.565	8	83.6
√		0.558	15	49.2
	√	0.583	8	83.8
√	√	0.575	15	49.4

模型		F₁	FPS	模型大小/MB
SSD-MobileNetv2		0.258	13	15.8
SSD-VGG16		0.423	9	92.1
YOLOv6 l		0.517	4	211.9
YOLOv5l-MobileNetv3		0.523	25	48.9
YOLOv3-SPP		0.558	5	200.2
GRDDC2020-SOTA		0.565	12	95.3
YOLOv8L		0.565	8	83.6
YOLOv7		0.568	6	71.4
本文模型	加速前	0.575	15	51.8
本文模型	加速后	0.573	47	55.5

基于改进YOLOv8的嵌入式道路裂缝检测算法

Embedded road crack detection algorithm based on improved YOLOv8

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 17

相关文章 15

编辑推荐

Metrics

类别	Czech			Japan			India
类别	mAP₅₀	mAP_50∶95	F₁	mAP₅₀	mAP_50∶95	F₁	mAP₅₀	mAP_50∶95	F₁
全类别	0.442	0.187	0.420	0.695	0.386	0.683	0.577	0.290	0.543
D00	0.527	0.200	0.495	0.494	0.237	0.518	0.399	0.184	0.462
D10	0.299	0.093	0.389	0.507	0.188	0.517	0.410	0.217	0.407
D20	0.670	0.365	0.478	0.714	0.377	0.669	0.661	0.307	0.678
D40	0.272	0.092	0.274	0.657	0.318	0.677	0.416	0.146	0.436
D43	—	—	—	0.861	0.607	0.828	0.913	0.421	0.797
D44	—	—	—	0.742	0.472	0.704	0.599	0.291	0.648
D50	—	—	—	0.892	0.506	0.841	0.618	0.376	0.298
D43	—	—	—	—	—	—	0.573	0.369	0.531
D44	—	—	—	—	—	—	0.605	0.300	0.589

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[3]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[4]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[5]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[6]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[7]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[8]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[9]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[10]	李烨恒, 罗光圣, 苏前敏. 基于改进YOLOv5的Logo检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2580-2587.
[11]	张英俊, 李牛牛, 谢斌红, 张睿, 陆望东. 课程学习指导下的半监督目标检测框架[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2326-2333.
[12]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.
[13]	姬张建, 杜娜. 基于改进VariFocalNet的微小目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2200-2207.
[14]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[15]	毛典辉, 李学博, 刘峻岭, 张登辉, 颜文婧. 基于并行异构图和序列注意力机制的中文实体关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2018-2025.