YOLOv4 highway pavement crack detection method using Ghost module and ECA

doi:10.11772/j.issn.1001-9081.2022030410

Journal of Computer Applications ›› 2023, Vol. 43 ›› Issue (4): 1284-1290.DOI: 10.11772/j.issn.1001-9081.2022030410

Special Issue: 多媒体计算与计算机仿真

• Multimedia computing and computer simulation • Previous Articles Next Articles

YOLOv4 highway pavement crack detection method using Ghost module and ECA

Juming HAO¹, Jingyu YANG²(), Shumei HAN², Yangping WANG²

^1.Gansu Provincial Key Laboratory of Intelligent Transportation，Lanzhou Gansu 730070，China
^2.School of Electronics and Information Engineering，Lanzhou Jiaotong University，Lanzhou Gansu 730070，China

Received:2022-04-02 Revised:2022-06-23 Accepted:2022-07-12 Online:2023-01-11 Published:2023-04-10
Contact: Jingyu YANG
About author:HAO Juming， born in 1973， senior engineer. His research interests include intelligent transportation.
HAN Shumei， born in 1992， M. S. candidate. Her research interests include remote sensing image processing.
WANG Yangping， born in 1973， Ph. D.， professor. Her research interests include remote sensing image processing and application.
Supported by:
National Natural Science Foundation of China(61763025);Gansu Provincial Science and Technology Program(21YF5GA158);Gansu Province Educational Science and Technology Innovation Project(2021jyjbgs-05);Scientific Research Project of Gansu Provincial Department of Transportation(2020-11);Lanzhou Science and Technology Program(2019-4-49);Tianjin University-Lanzhou Jiaotong University Independent Innovation Fund Cooperation Project(2021QB-053)

引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法

郝巨鸣¹, 杨景玉²(), 韩淑梅², 王阳萍²

^1.甘肃省智慧交通重点实验室，兰州 730070
^2.兰州交通大学电子与信息工程学院，兰州 730070

通讯作者: 杨景玉
作者简介:郝巨鸣（1973—），男，甘肃陇南人，高级工程师，主要研究方向：智慧交通；
韩淑梅（1992—），女，甘肃白银人，硕士研究生，主要研究方向：遥感图像处理；
王阳萍（1973—），女，四川达州人，教授，博士生导师，博士，CCF会员，主要研究方向：遥感图像处理及应用。
基金资助:
国家自然科学基金资助项目(61763025);甘肃省科技计划项目(21YF5GA158);甘肃省教育科技创新项目(2021jyjbgs?05);甘肃省交通运输厅科研项目(2020?11);兰州市科技计划项目(2019?4?49);天津大学-兰州交通大学自主创新基金合作项目(2021QB?053)

Abstract

Abstract:

Aiming at the difficulty of detection of pavement diseases caused by the variety of types and scales of road pavement cracks， a lightweight unmanned aerial vehicle image crack detection method based on the GhostNet was proposed for the detection of different types of cracks in pavement. First， the Ghost module in the lightweight GhostNet was introduced to optimize the YOLOv4 backbone feature extraction network， and the lightweight model YOLOv4-Light was obtained， thereby reducing the model complexity and improving the crack detection speed. Then， the Efficient Channel Attention （ECA） mechanism was integrated in the model prediction output to further enhance the crack feature extraction ability and improve the precision of crack detection. Simulation results show that compared with the existing YOLOv4， the proposed method has the model size reduced by 82.31%， the amount of model parameters reduced by 82.56%， and the crack detection efficiency improved. The method can meet the detection needs of different types of cracks during road transportation.

Key words: crack detection, lightweight, GhostNet, YOLOv4, attention mechanism

摘要：

针对目前公路路面裂缝种类和尺度多样导致路面病害检测困难的问题，提出一种基于GhostNet的轻量化无人机图像裂缝检测方法检测不同种类路面裂缝。首先，引入轻量级GhostNet中的Ghost模块优化YOLOv4主干特征提取网络，得到轻量化模型YOLOv4-Light，以降低模型复杂度，并提高裂缝检测速度；然后，在模型预测输出端融合高效通道注意力（ECA）机制，从而进一步增强裂缝特征提取能力，提高裂缝检测精度。仿真实验结果表明，所提方法与现有的YOLOv4相比，模型大小降低了82.31%，模型参数量减少了82.56%，并提高了裂缝检测效率，能够满足公路运输过程中出现的不同类型的裂缝检测需求。

关键词: 裂缝检测, 轻量化, GhostNet, YOLOv4, 注意力机制

CLC Number:

TP391

Juming HAO, Jingyu YANG, Shumei HAN, Yangping WANG. YOLOv4 highway pavement crack detection method using Ghost module and ECA[J]. Journal of Computer Applications, 2023, 43(4): 1284-1290.

郝巨鸣, 杨景玉, 韩淑梅, 王阳萍. 引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1284-1290.

Figures/Tables 8

References 30

1	张广世，葛广英，朱荣华，等. 基于改进YOLOv3网络的齿轮缺陷检测［J］. 激光与光电子学进展， 2020， 57（12）： No.121009. 10.3788/lop57.121009
	ZHANG G S， GE G Y， ZHU R H，et al. Gear defect detection based on the improved YOLOv3 network［J］. Laser and Optoelectronics Progress， 2020， 57（12）： No.121009. 10.3788/lop57.121009
2	NGUYEN H N， KAM T Y， CHENG P Y. An automatic approach for accurate edge detection of concrete crack utilizing 2D geometric features of crack［J］. Journal of Signal Processing Systems， 2014， 77（3）： 221-240. 10.1007/s11265-013-0813-8
3	CHEN W Y， WANG H F， LI H， et al. Real-time garbage object detection with data augmentation and feature fusion using SUAV low-altitude remote sensing images［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： No.6003005. 10.1109/lgrs.2021.3074415
4	ZHANG Z Y， LIU Y P， LIU T C， et al. DAGN： a real-time UAV remote sensing image vehicle detection framework［J］. IEEE Geoscience and Remote Sensing Letters， 2020， 17（11）： 1884-1888. 10.1109/lgrs.2019.2956513
5	WANG Y Y， SONG K C， LIU J， et al. RENet： rectangular convolution pyramid and edge enhancement network for salient object detection of pavement cracks［J］. Measurement， 2021， 170： No.108698. 10.1016/j.measurement.2020.108698
6	LI B X， WANG K C P， ZHANG A， et al. Automatic classification of pavement crack using deep convolutional neural network［J］. International Journal of Pavement Engineering， 2020， 21（4）： 457-463. 10.1080/10298436.2018.1485917
7	CHA Y J， CHOI W， BÜYÜKÖZTÜRK O. Deep learning-based crack damage detection using convolutional neural networks［J］. Computer-Aided Civil and Infrastructure Engineering， 2017， 32（5）： 361-378. 10.1111/mice.12263
8	楼豪杰，郑元林，廖开阳，等. 基于Siamese-YOLOv4的印刷品缺陷目标检测［J］. 计算机应用， 2021， 41（11）：3206-3212. 10.11772/j.issn.1001-9081.2020121958
	LOU H J， ZHENG Y L， LIAO K Y， et al. Defect target detection for printed matter based on Siamese-YOLOv4［J］. Journal of Computer Applications， 2021， 41（11）：3206-3212. 10.11772/j.issn.1001-9081.2020121958
9	胡正平，张乐，李淑芳，等. 端对端SSD实时视频监控异常目标检测与定位算法［J］. 燕山大学学报， 2020， 44（5）：493-501. 10.3969/j.issn.1007-791X.2020.05.010
	HU Z P， ZHANG L， LI S F， et al. End-to-end SSD real-time video surveillance abnormal target detection and localization algorithm［J］. Journal of Yanshan University， 2020， 44（5）：493-501. 10.3969/j.issn.1007-791X.2020.05.010
10	蒋慧琴，王博霖，马岭，等. 一种双视图信息融合的乳腺肿块自动检测算法［J］. 郑州大学学报（理学版）， 2020， 52（4）：28-36. 10.13705/j.issn.1671-6841.2020234
	JIANG H Q， WANG B L， MA L， et al. An automatic breast mass detection algorithm with dual-view information fusion［J］. Journal of Zhengzhou University （Natural Science Edition）， 2020， 52（4）：28-36. 10.13705/j.issn.1671-6841.2020234
11	裴仪瑶，郭会明，张丹普，等. 基于定位不确定性的3D鲁棒目标检测方法［J］. 计算机应用， 2021， 41（10）：2979-2984.
	PEI Y Y， GUO H M， ZHANG D P， et al. Robust 3D object detection method based on localization uncertainty［J］. Journal of Computer Applications， 2021， 41（10）：2979-2984.
12	毛莺池，唐江红，王静，等. 基于Faster R-CNN的多任务增强裂缝图像检测方法［J］. 智能系统学报， 2021， 16（2）：286-293. 10.11992/tis.201910004
	MAO Y C， TANG J H， WANG J， et al. Multi-task enhanced dam crack image detection based on Faster R-CNN［J］. CAAI Transactions on Intelligent Systems， 2021， 16（2）：286-293. 10.11992/tis.201910004
13	孙朝云，裴莉莉，李伟，等. 基于改进Faster R-CNN的路面灌封裂缝检测方法［J］. 华南理工大学学报（自然科学版）， 2020， 48（2）：84-93.
	SUN Z Y， PEI L L， LI W， et al. Pavement sealed crack detection method based on improved Faster R-CNN［J］. Journal of South China University of Technology （Natural Science Edition）， 2020， 48（2）：84-93.
14	罗晖，贾晨，李健. 基于改进YOLOv4的公路路面病害检测算法［J］.激光与光电子学进展， 2021， 58（14）： No.1410025. 10.3788/LOP202158.1410025
	LUO H， JIA C， LI J， Road surface disease detection algorithm based on improved YOLOv4［J］. Laser and Optoelectronics Progress， 2021， 58（14）： No.1410025. 10.3788/LOP202158.1410025
15	王丹，李琦，梁栋，等. 基于多尺度全卷积与CRF的路面裂缝检测算法［J］. 燕山大学学报， 2021， 45（4）：367-376. 10.3969/j.issn.1007-791X.2021.04.010
	WANG D， LI Q， LIANG D， et al. Road crack detection algorithms based on multi-scale full convolution and CRF［J］. Journal of Yanshan University， 2021， 45（4）：367-376. 10.3969/j.issn.1007-791X.2021.04.010
16	罗禹杰，张剑，陈亮，等. 基于自适应空间特征融合的轻量化目标检测算法［J］. 激光与光电子学进展， 2022， 59（4）： No.0415004. 10.3788/LOP202259.0415004
	LUO Y J， ZHANG J， CHEN L， et al. Lightweight target detection algorithm based on adaptive spatial feature fusion［J］. Laser and Optoelectronics Progress， 2022， 59（4）： No.0415004. 10.3788/LOP202259.0415004
17	李想，熊进刚. 基于深度学习的低光照条件的混凝土裂缝检测［J］. 建筑结构， 2021， 51（S2）：1046-1050.
	LI X， XIONG J G. Detection of concrete cracks in low light condition based on deep learning［J］. Building Structure， 2021， 51（S2）：1046-1050.
18	ZHU J Q， ZHONG J T， MA T， et al. Pavement distress detection using convolutional neural networks with images captured via UAV［J］. Automation in Construction， 2022， 133： No.103991. 10.1016/j.autcon.2021.103991
19	宋立博，费燕琼. 两类YOLOv4-tiny简化网络及其裂缝检测性能比较［J］. 同济大学学报（自然科学版）， 2022， 50（1）：129-137.
	SONG L B， FEI Y Q. Comparison of two types YOLOv4-tiny simplified networks and their crack detection performance［J］. Journal of Tongji University （Natural Science）， 2022， 50（1）：129-137.
20	孔维刚，李文婧，王秋艳，等. 基于改进YOLOv4算法的轻量化网络设计与实现［J］. 计算机工程， 2022， 48（3）：181-188.
	KONG W G， LI W J， WANG Q Y， et al. Design and implementation of lightweight network based on improved YOLOv4 algorithm［J］. Computer Engineering， 2022， 48（3）：181-188.
21	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788. 10.1109/cvpr.2016.91
22	BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection［EB/OL］. （2020-04-23）［2022-02-12］..
23	WANG C Y， LIAO H Y M， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 1571-1580. 10.1109/cvprw50498.2020.00203
24	MISRA D. Mish： a self regularized non-monotonic activation function［C］// Proceedings of the 2020 British Machine Vision Conference. Durham： BMVA Press， 2020： No.90.
25	HE K M， ZHANG X Y， REN S Q. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
26	PURKAIT P， ZHAO C， ZACH C. SPP-Net： deep absolute pose regression with synthetic views［EB/OL］. （2017-12-09）［2022-02-12］..
27	HAN K， WANG Y H， TIAN Q， et al. GhostNet： more features from cheap operations［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1577-1586. 10.1109/cvpr42600.2020.00165
28	赵文清，杨盼盼. 双向特征融合与注意力机制结合的目标检测［J］. 智能系统学报， 2021， 16（6）：1098-1105. 10.11992/tis.202012029
	ZHAO W Q， YANG P P. Target detection based on bidirectional feature fusion and an attention mechanism［J］. CAAI Transactions on Intelligent Systems， 2021， 16（6）：1098-1105. 10.11992/tis.202012029
29	RIBANI R， MARENGONI M. A survey of transfer learning for convolutional neural networks［C］// Proceedings of the 32nd SIBGRAPI Conference on Graphics， Patterns and Images Tutorials. Piscataway： IEEE， 2019： 47-57. 10.1109/sibgrapi-t.2019.00010
30	SAHEL S， ALSAHAFI M， ALGHAMDI M， et al. Logo detection using deep learning with pretrained CNN models［J］. Engineering， Technology & Applied Science Research， 2021， 11（1）： 6724-6729. 10.48084/etasr.3919

特征图	操作	输入	输出	核	SE	Stride
76×76×27	Conv2D	（608，608，3）	（304，304，16）	（3，3）		2
	GhostBN1	（304，304，16）	（304，304，16）	（3，3）	×	1
	GhostBN2	（304，304，16）	（304，304，16）	（3，3）	×	1
	GhostBN2	（304，304，16）	（152，152，24）	（3，3）	×	2
	GhostBN2	（152，152，24）	（76，76，40）	（5，5）	√	2
	GhostBN2	（76，76，40）	（76，76，40）	（5，5）	√	1
38×38×27	GhostBN4	（76，76，40）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
	GhostBN2	（38，38，80）	（38，38，112）	（3，3）	√	1
	GhostBN2	（38，38，112）	（38，38，112）	（3，3）	√	1
19×19×27	GhostBN5	（38，38，112）	（19，19，160）	（5，5）	√	2
		（19，19，160）	（19，19，160）	（5，5）	×	1
		（19，19，160）	（19，19，160）	（5，5）	√	1
		（19，19，160）	（19，19，160）	（5，5）	×	1
		（19，19，160）	（19，19，160）	（5，5）	√	1

特征图	操作	输入	输出	核	SE	Stride
76×76×27	Conv2D	（608，608，3）	（304，304，16）	（3，3）		2
	GhostBN1	（304，304，16）	（304，304，16）	（3，3）	×	1
	GhostBN2	（304，304，16）	（304，304，16）	（3，3）	×	1
	GhostBN2	（304，304，16）	（152，152，24）	（3，3）	×	2
	GhostBN2	（152，152，24）	（76，76，40）	（5，5）	√	2
	GhostBN2	（76，76，40）	（76，76，40）	（5，5）	√	1
38×38×27	GhostBN4	（76，76，40）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
	GhostBN2	（38，38，80）	（38，38，112）	（3，3）	√	1
	GhostBN2	（38，38，112）	（38，38，112）	（3，3）	√	1
19×19×27	GhostBN5	（38，38，112）	（19，19，160）	（5，5）	√	2
		（19，19，160）	（19，19，160）	（5，5）	×	1
		（19，19，160）	（19，19，160）	（5，5）	√	1
		（19，19，160）	（19，19，160）	（5，5）	×	1
		（19，19，160）	（19，19，160）	（5，5）	√	1

实验	GhostNet	ECA	mAP/%	模型大小/MB	参数量/10⁶
1			58.17	250.93	64.12
2	√		48.39	44.38	11.09
3		√	60.35	250.50	64.19
4	√	√	56.34	44.40	11.18

实验	GhostNet	ECA	mAP/%	模型大小/MB	参数量/10⁶
1			58.17	250.93	64.12
2	√		48.39	44.38	11.09
3		√	60.35	250.50	64.19
4	√	√	56.34	44.40	11.18

模型	AP/%				mAP/%	模型大小/MB	参数量/10⁶
模型	LC	TC	MC	RC	mAP/%	模型大小/MB	参数量/10⁶
YOLOv3	56.33	54.61	38.45	54.74	54.74	241.26	61.60
改进YOLOv3^［17］	58.19	56.27	40.16	55.97	52.65	247.39	63.54
YOLOv4-tiny	46.26	43.18	35.24	45.69	42.59	23.37	58.92
改进的YOLOv4-tiny^［19］	50.21	44.34	38.29	48.64	45.37	31.25	61.17
YOLOv4	60.21	56.37	43.26	58.17	58.17	250.93	64.12
本文模型	58.42	56.14	46.19	56.34	56.34	44.40	11.18

YOLOv4 highway pavement crack detection method using Ghost module and ECA

引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 8

References 30

Related Articles 15

Recommended Articles

Metrics

[1]	Zhiqiang ZHAO, Peihong MA, Xinhong HEI. Crowd counting method based on dual attention mechanism [J]. Journal of Computer Applications, 2024, 44(9): 2886-2892.
[2]	Yanjun LI, Yaodong GE, Qi WANG, Weiguo ZHANG, Chen LIU. Improved KLEIN algorithm and its quantum analysis [J]. Journal of Computer Applications, 2024, 44(9): 2810-2817.
[3]	Jing QIN, Zhiguang QIN, Fali LI, Yueheng PENG. Diagnosis of major depressive disorder based on probabilistic sparse self-attention neural network [J]. Journal of Computer Applications, 2024, 44(9): 2970-2974.
[4]	Liting LI, Bei HUA, Ruozhou HE, Kuang XU. Multivariate time series prediction model based on decoupled attention mechanism [J]. Journal of Computer Applications, 2024, 44(9): 2732-2738.
[5]	Kaipeng XUE, Tao XU, Chunjie LIAO. Multimodal sentiment analysis network with self-supervision and multi-layer cross attention [J]. Journal of Computer Applications, 2024, 44(8): 2387-2392.
[6]	Pengqi GAO, Heming HUANG, Yonghong FAN. Fusion of coordinate and multi-head attention mechanisms for interactive speech emotion recognition [J]. Journal of Computer Applications, 2024, 44(8): 2400-2406.
[7]	Zhonghua LI, Yunqi BAI, Xuejin WANG, Leilei HUANG, Chujun LIN, Shiyu LIAO. Low illumination face detection based on image enhancement [J]. Journal of Computer Applications, 2024, 44(8): 2588-2594.
[8]	Shangbin MO, Wenjun WANG, Ling DONG, Shengxiang GAO, Zhengtao YU. Single-channel speech enhancement based on multi-channel information aggregation and collaborative decoding [J]. Journal of Computer Applications, 2024, 44(8): 2611-2617.
[9]	Wu XIONG, Congjun CAO, Xuefang SONG, Yunlong SHAO, Xusheng WANG. Handwriting identification method based on multi-scale mixed domain attention mechanism [J]. Journal of Computer Applications, 2024, 44(7): 2225-2232.
[10]	Huanhuan LI, Tianqiang HUANG, Xuemei DING, Haifeng LUO, Liqing HUANG. Public traffic demand prediction based on multi-scale spatial-temporal graph convolutional network [J]. Journal of Computer Applications, 2024, 44(7): 2065-2072.
[11]	Dianhui MAO, Xuebo LI, Junling LIU, Denghui ZHANG, Wenjing YAN. Chinese entity and relation extraction model based on parallel heterogeneous graph and sequential attention mechanism [J]. Journal of Computer Applications, 2024, 44(7): 2018-2025.
[12]	Li LIU, Haijin HOU, Anhong WANG, Tao ZHANG. Generative data hiding algorithm based on multi-scale attention [J]. Journal of Computer Applications, 2024, 44(7): 2102-2109.
[13]	Song XU, Wenbo ZHANG, Yifan WANG. Lightweight video salient object detection network based on spatiotemporal information [J]. Journal of Computer Applications, 2024, 44(7): 2192-2199.
[14]	Dahai LI, Zhonghua WANG, Zhendong WANG. Dual-branch low-light image enhancement network combining spatial and frequency domain information [J]. Journal of Computer Applications, 2024, 44(7): 2175-2182.
[15]	Yongjin ZHANG, Jian XU, Mingxing ZHANG. Lightweight algorithm for impurity detection in raw cotton based on improved YOLOv7 [J]. Journal of Computer Applications, 2024, 44(7): 2271-2278.