引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法

doi:10.11772/j.issn.1001-9081.2022030410

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (4): 1284-1290.DOI: 10.11772/j.issn.1001-9081.2022030410

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法

郝巨鸣¹, 杨景玉²(), 韩淑梅², 王阳萍²

^1.甘肃省智慧交通重点实验室，兰州 730070
^2.兰州交通大学电子与信息工程学院，兰州 730070

收稿日期:2022-04-02 修回日期:2022-06-23 接受日期:2022-07-12 发布日期:2023-01-11 出版日期:2023-04-10
通讯作者: 杨景玉
作者简介:郝巨鸣（1973—），男，甘肃陇南人，高级工程师，主要研究方向：智慧交通；
韩淑梅（1992—），女，甘肃白银人，硕士研究生，主要研究方向：遥感图像处理；
王阳萍（1973—），女，四川达州人，教授，博士生导师，博士，CCF会员，主要研究方向：遥感图像处理及应用。
基金资助:
国家自然科学基金资助项目(61763025);甘肃省科技计划项目(21YF5GA158);甘肃省教育科技创新项目(2021jyjbgs?05);甘肃省交通运输厅科研项目(2020?11);兰州市科技计划项目(2019?4?49);天津大学-兰州交通大学自主创新基金合作项目(2021QB?053)

YOLOv4 highway pavement crack detection method using Ghost module and ECA

Juming HAO¹, Jingyu YANG²(), Shumei HAN², Yangping WANG²

^1.Gansu Provincial Key Laboratory of Intelligent Transportation，Lanzhou Gansu 730070，China
^2.School of Electronics and Information Engineering，Lanzhou Jiaotong University，Lanzhou Gansu 730070，China

Received:2022-04-02 Revised:2022-06-23 Accepted:2022-07-12 Online:2023-01-11 Published:2023-04-10
Contact: Jingyu YANG
About author:HAO Juming， born in 1973， senior engineer. His research interests include intelligent transportation.
HAN Shumei， born in 1992， M. S. candidate. Her research interests include remote sensing image processing.
WANG Yangping， born in 1973， Ph. D.， professor. Her research interests include remote sensing image processing and application.
Supported by:
National Natural Science Foundation of China(61763025);Gansu Provincial Science and Technology Program(21YF5GA158);Gansu Province Educational Science and Technology Innovation Project(2021jyjbgs-05);Scientific Research Project of Gansu Provincial Department of Transportation(2020-11);Lanzhou Science and Technology Program(2019-4-49);Tianjin University-Lanzhou Jiaotong University Independent Innovation Fund Cooperation Project(2021QB-053)

摘要/Abstract

摘要：

针对目前公路路面裂缝种类和尺度多样导致路面病害检测困难的问题，提出一种基于GhostNet的轻量化无人机图像裂缝检测方法检测不同种类路面裂缝。首先，引入轻量级GhostNet中的Ghost模块优化YOLOv4主干特征提取网络，得到轻量化模型YOLOv4-Light，以降低模型复杂度，并提高裂缝检测速度；然后，在模型预测输出端融合高效通道注意力（ECA）机制，从而进一步增强裂缝特征提取能力，提高裂缝检测精度。仿真实验结果表明，所提方法与现有的YOLOv4相比，模型大小降低了82.31%，模型参数量减少了82.56%，并提高了裂缝检测效率，能够满足公路运输过程中出现的不同类型的裂缝检测需求。

关键词: 裂缝检测, 轻量化, GhostNet, YOLOv4, 注意力机制

Abstract:

Aiming at the difficulty of detection of pavement diseases caused by the variety of types and scales of road pavement cracks， a lightweight unmanned aerial vehicle image crack detection method based on the GhostNet was proposed for the detection of different types of cracks in pavement. First， the Ghost module in the lightweight GhostNet was introduced to optimize the YOLOv4 backbone feature extraction network， and the lightweight model YOLOv4-Light was obtained， thereby reducing the model complexity and improving the crack detection speed. Then， the Efficient Channel Attention （ECA） mechanism was integrated in the model prediction output to further enhance the crack feature extraction ability and improve the precision of crack detection. Simulation results show that compared with the existing YOLOv4， the proposed method has the model size reduced by 82.31%， the amount of model parameters reduced by 82.56%， and the crack detection efficiency improved. The method can meet the detection needs of different types of cracks during road transportation.

Key words: crack detection, lightweight, GhostNet, YOLOv4, attention mechanism

中图分类号:

TP391

郝巨鸣, 杨景玉, 韩淑梅, 王阳萍. 引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法[J]. 计算机应用, 2023, 43(4): 1284-1290.

Juming HAO, Jingyu YANG, Shumei HAN, Yangping WANG. YOLOv4 highway pavement crack detection method using Ghost module and ECA[J]. Journal of Computer Applications, 2023, 43(4): 1284-1290.

图/表 8

参考文献 30

1	张广世，葛广英，朱荣华，等. 基于改进YOLOv3网络的齿轮缺陷检测［J］. 激光与光电子学进展， 2020， 57（12）： No.121009. 10.3788/lop57.121009
	ZHANG G S， GE G Y， ZHU R H，et al. Gear defect detection based on the improved YOLOv3 network［J］. Laser and Optoelectronics Progress， 2020， 57（12）： No.121009. 10.3788/lop57.121009
2	NGUYEN H N， KAM T Y， CHENG P Y. An automatic approach for accurate edge detection of concrete crack utilizing 2D geometric features of crack［J］. Journal of Signal Processing Systems， 2014， 77（3）： 221-240. 10.1007/s11265-013-0813-8
3	CHEN W Y， WANG H F， LI H， et al. Real-time garbage object detection with data augmentation and feature fusion using SUAV low-altitude remote sensing images［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： No.6003005. 10.1109/lgrs.2021.3074415
4	ZHANG Z Y， LIU Y P， LIU T C， et al. DAGN： a real-time UAV remote sensing image vehicle detection framework［J］. IEEE Geoscience and Remote Sensing Letters， 2020， 17（11）： 1884-1888. 10.1109/lgrs.2019.2956513
5	WANG Y Y， SONG K C， LIU J， et al. RENet： rectangular convolution pyramid and edge enhancement network for salient object detection of pavement cracks［J］. Measurement， 2021， 170： No.108698. 10.1016/j.measurement.2020.108698
6	LI B X， WANG K C P， ZHANG A， et al. Automatic classification of pavement crack using deep convolutional neural network［J］. International Journal of Pavement Engineering， 2020， 21（4）： 457-463. 10.1080/10298436.2018.1485917
7	CHA Y J， CHOI W， BÜYÜKÖZTÜRK O. Deep learning-based crack damage detection using convolutional neural networks［J］. Computer-Aided Civil and Infrastructure Engineering， 2017， 32（5）： 361-378. 10.1111/mice.12263
8	楼豪杰，郑元林，廖开阳，等. 基于Siamese-YOLOv4的印刷品缺陷目标检测［J］. 计算机应用， 2021， 41（11）：3206-3212. 10.11772/j.issn.1001-9081.2020121958
	LOU H J， ZHENG Y L， LIAO K Y， et al. Defect target detection for printed matter based on Siamese-YOLOv4［J］. Journal of Computer Applications， 2021， 41（11）：3206-3212. 10.11772/j.issn.1001-9081.2020121958
9	胡正平，张乐，李淑芳，等. 端对端SSD实时视频监控异常目标检测与定位算法［J］. 燕山大学学报， 2020， 44（5）：493-501. 10.3969/j.issn.1007-791X.2020.05.010
	HU Z P， ZHANG L， LI S F， et al. End-to-end SSD real-time video surveillance abnormal target detection and localization algorithm［J］. Journal of Yanshan University， 2020， 44（5）：493-501. 10.3969/j.issn.1007-791X.2020.05.010
10	蒋慧琴，王博霖，马岭，等. 一种双视图信息融合的乳腺肿块自动检测算法［J］. 郑州大学学报（理学版）， 2020， 52（4）：28-36. 10.13705/j.issn.1671-6841.2020234
	JIANG H Q， WANG B L， MA L， et al. An automatic breast mass detection algorithm with dual-view information fusion［J］. Journal of Zhengzhou University （Natural Science Edition）， 2020， 52（4）：28-36. 10.13705/j.issn.1671-6841.2020234
11	裴仪瑶，郭会明，张丹普，等. 基于定位不确定性的3D鲁棒目标检测方法［J］. 计算机应用， 2021， 41（10）：2979-2984.
	PEI Y Y， GUO H M， ZHANG D P， et al. Robust 3D object detection method based on localization uncertainty［J］. Journal of Computer Applications， 2021， 41（10）：2979-2984.
12	毛莺池，唐江红，王静，等. 基于Faster R-CNN的多任务增强裂缝图像检测方法［J］. 智能系统学报， 2021， 16（2）：286-293. 10.11992/tis.201910004
	MAO Y C， TANG J H， WANG J， et al. Multi-task enhanced dam crack image detection based on Faster R-CNN［J］. CAAI Transactions on Intelligent Systems， 2021， 16（2）：286-293. 10.11992/tis.201910004
13	孙朝云，裴莉莉，李伟，等. 基于改进Faster R-CNN的路面灌封裂缝检测方法［J］. 华南理工大学学报（自然科学版）， 2020， 48（2）：84-93.
	SUN Z Y， PEI L L， LI W， et al. Pavement sealed crack detection method based on improved Faster R-CNN［J］. Journal of South China University of Technology （Natural Science Edition）， 2020， 48（2）：84-93.
14	罗晖，贾晨，李健. 基于改进YOLOv4的公路路面病害检测算法［J］.激光与光电子学进展， 2021， 58（14）： No.1410025. 10.3788/LOP202158.1410025
	LUO H， JIA C， LI J， Road surface disease detection algorithm based on improved YOLOv4［J］. Laser and Optoelectronics Progress， 2021， 58（14）： No.1410025. 10.3788/LOP202158.1410025
15	王丹，李琦，梁栋，等. 基于多尺度全卷积与CRF的路面裂缝检测算法［J］. 燕山大学学报， 2021， 45（4）：367-376. 10.3969/j.issn.1007-791X.2021.04.010
	WANG D， LI Q， LIANG D， et al. Road crack detection algorithms based on multi-scale full convolution and CRF［J］. Journal of Yanshan University， 2021， 45（4）：367-376. 10.3969/j.issn.1007-791X.2021.04.010
16	罗禹杰，张剑，陈亮，等. 基于自适应空间特征融合的轻量化目标检测算法［J］. 激光与光电子学进展， 2022， 59（4）： No.0415004. 10.3788/LOP202259.0415004
	LUO Y J， ZHANG J， CHEN L， et al. Lightweight target detection algorithm based on adaptive spatial feature fusion［J］. Laser and Optoelectronics Progress， 2022， 59（4）： No.0415004. 10.3788/LOP202259.0415004
17	李想，熊进刚. 基于深度学习的低光照条件的混凝土裂缝检测［J］. 建筑结构， 2021， 51（S2）：1046-1050.
	LI X， XIONG J G. Detection of concrete cracks in low light condition based on deep learning［J］. Building Structure， 2021， 51（S2）：1046-1050.
18	ZHU J Q， ZHONG J T， MA T， et al. Pavement distress detection using convolutional neural networks with images captured via UAV［J］. Automation in Construction， 2022， 133： No.103991. 10.1016/j.autcon.2021.103991
19	宋立博，费燕琼. 两类YOLOv4-tiny简化网络及其裂缝检测性能比较［J］. 同济大学学报（自然科学版）， 2022， 50（1）：129-137.
	SONG L B， FEI Y Q. Comparison of two types YOLOv4-tiny simplified networks and their crack detection performance［J］. Journal of Tongji University （Natural Science）， 2022， 50（1）：129-137.
20	孔维刚，李文婧，王秋艳，等. 基于改进YOLOv4算法的轻量化网络设计与实现［J］. 计算机工程， 2022， 48（3）：181-188.
	KONG W G， LI W J， WANG Q Y， et al. Design and implementation of lightweight network based on improved YOLOv4 algorithm［J］. Computer Engineering， 2022， 48（3）：181-188.
21	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788. 10.1109/cvpr.2016.91
22	BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection［EB/OL］. （2020-04-23）［2022-02-12］..
23	WANG C Y， LIAO H Y M， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 1571-1580. 10.1109/cvprw50498.2020.00203
24	MISRA D. Mish： a self regularized non-monotonic activation function［C］// Proceedings of the 2020 British Machine Vision Conference. Durham： BMVA Press， 2020： No.90.
25	HE K M， ZHANG X Y， REN S Q. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
26	PURKAIT P， ZHAO C， ZACH C. SPP-Net： deep absolute pose regression with synthetic views［EB/OL］. （2017-12-09）［2022-02-12］..
27	HAN K， WANG Y H， TIAN Q， et al. GhostNet： more features from cheap operations［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1577-1586. 10.1109/cvpr42600.2020.00165
28	赵文清，杨盼盼. 双向特征融合与注意力机制结合的目标检测［J］. 智能系统学报， 2021， 16（6）：1098-1105. 10.11992/tis.202012029
	ZHAO W Q， YANG P P. Target detection based on bidirectional feature fusion and an attention mechanism［J］. CAAI Transactions on Intelligent Systems， 2021， 16（6）：1098-1105. 10.11992/tis.202012029
29	RIBANI R， MARENGONI M. A survey of transfer learning for convolutional neural networks［C］// Proceedings of the 32nd SIBGRAPI Conference on Graphics， Patterns and Images Tutorials. Piscataway： IEEE， 2019： 47-57. 10.1109/sibgrapi-t.2019.00010
30	SAHEL S， ALSAHAFI M， ALGHAMDI M， et al. Logo detection using deep learning with pretrained CNN models［J］. Engineering， Technology & Applied Science Research， 2021， 11（1）： 6724-6729. 10.48084/etasr.3919

特征图	操作	输入	输出	核	SE	Stride
76×76×27	Conv2D	（608，608，3）	（304，304，16）	（3，3）		2
	GhostBN1	（304，304，16）	（304，304，16）	（3，3）	×	1
	GhostBN2	（304，304，16）	（304，304，16）	（3，3）	×	1
	GhostBN2	（304，304，16）	（152，152，24）	（3，3）	×	2
	GhostBN2	（152，152，24）	（76，76，40）	（5，5）	√	2
	GhostBN2	（76，76，40）	（76，76，40）	（5，5）	√	1
38×38×27	GhostBN4	（76，76，40）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
	GhostBN2	（38，38，80）	（38，38，112）	（3，3）	√	1
	GhostBN2	（38，38，112）	（38，38，112）	（3，3）	√	1
19×19×27	GhostBN5	（38，38，112）	（19，19，160）	（5，5）	√	2
		（19，19，160）	（19，19，160）	（5，5）	×	1
		（19，19，160）	（19，19，160）	（5，5）	√	1
		（19，19，160）	（19，19，160）	（5，5）	×	1
		（19，19，160）	（19，19，160）	（5，5）	√	1

特征图	操作	输入	输出	核	SE	Stride
76×76×27	Conv2D	（608，608，3）	（304，304，16）	（3，3）		2
	GhostBN1	（304，304，16）	（304，304，16）	（3，3）	×	1
	GhostBN2	（304，304，16）	（304，304，16）	（3，3）	×	1
	GhostBN2	（304，304，16）	（152，152，24）	（3，3）	×	2
	GhostBN2	（152，152，24）	（76，76，40）	（5，5）	√	2
	GhostBN2	（76，76，40）	（76，76，40）	（5，5）	√	1
38×38×27	GhostBN4	（76，76，40）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
	GhostBN2	（38，38，80）	（38，38，112）	（3，3）	√	1
	GhostBN2	（38，38，112）	（38，38，112）	（3，3）	√	1
19×19×27	GhostBN5	（38，38，112）	（19，19，160）	（5，5）	√	2
		（19，19，160）	（19，19，160）	（5，5）	×	1
		（19，19，160）	（19，19，160）	（5，5）	√	1
		（19，19，160）	（19，19，160）	（5，5）	×	1
		（19，19，160）	（19，19，160）	（5，5）	√	1

实验	GhostNet	ECA	mAP/%	模型大小/MB	参数量/10⁶
1			58.17	250.93	64.12
2	√		48.39	44.38	11.09
3		√	60.35	250.50	64.19
4	√	√	56.34	44.40	11.18

实验	GhostNet	ECA	mAP/%	模型大小/MB	参数量/10⁶
1			58.17	250.93	64.12
2	√		48.39	44.38	11.09
3		√	60.35	250.50	64.19
4	√	√	56.34	44.40	11.18

模型	AP/%				mAP/%	模型大小/MB	参数量/10⁶
模型	LC	TC	MC	RC	mAP/%	模型大小/MB	参数量/10⁶
YOLOv3	56.33	54.61	38.45	54.74	54.74	241.26	61.60
改进YOLOv3^［17］	58.19	56.27	40.16	55.97	52.65	247.39	63.54
YOLOv4-tiny	46.26	43.18	35.24	45.69	42.59	23.37	58.92
改进的YOLOv4-tiny^［19］	50.21	44.34	38.29	48.64	45.37	31.25	61.17
YOLOv4	60.21	56.37	43.26	58.17	58.17	250.93	64.12
本文模型	58.42	56.14	46.19	56.34	56.34	44.40	11.18

引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法

YOLOv4 highway pavement crack detection method using Ghost module and ECA

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 30

相关文章 15

编辑推荐

Metrics

[1]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[4]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[5]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[6]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[7]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[8]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[9]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[10]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[11]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[12]	张勇进, 徐健, 张明星. 面向轻量化的改进YOLOv7棉杂检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2271-2278.
[13]	魏文亮, 王阳萍, 岳彪, 王安政, 张哲. 基于光照权重分配和注意力的红外与可见光图像融合深度学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2183-2191.
[14]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.
[15]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.