引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法

doi:10.11772/j.issn.1001-9081.2022030410

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (4): 1284-1290.DOI: 10.11772/j.issn.1001-9081.2022030410

• 多媒体计算与计算机仿真 • 上一篇

引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法

郝巨鸣¹, 杨景玉²(), 韩淑梅², 王阳萍²

^1.甘肃省智慧交通重点实验室，兰州 730070
^2.兰州交通大学电子与信息工程学院，兰州 730070

收稿日期:2022-04-02 修回日期:2022-06-23 接受日期:2022-07-12 发布日期:2023-01-11 出版日期:2023-04-10
通讯作者: 杨景玉
作者简介:郝巨鸣（1973—），男，甘肃陇南人，高级工程师，主要研究方向：智慧交通；
韩淑梅（1992—），女，甘肃白银人，硕士研究生，主要研究方向：遥感图像处理；
王阳萍（1973—），女，四川达州人，教授，博士生导师，博士，CCF会员，主要研究方向：遥感图像处理及应用。
基金资助:
国家自然科学基金资助项目(61763025);甘肃省科技计划项目(21YF5GA158);甘肃省教育科技创新项目(2021jyjbgs?05);甘肃省交通运输厅科研项目(2020?11);兰州市科技计划项目(2019?4?49);天津大学-兰州交通大学自主创新基金合作项目(2021QB?053)

YOLOv4 highway pavement crack detection method using Ghost module and ECA

Juming HAO¹, Jingyu YANG²(), Shumei HAN², Yangping WANG²

^1.Gansu Provincial Key Laboratory of Intelligent Transportation，Lanzhou Gansu 730070，China
^2.School of Electronics and Information Engineering，Lanzhou Jiaotong University，Lanzhou Gansu 730070，China

Received:2022-04-02 Revised:2022-06-23 Accepted:2022-07-12 Online:2023-01-11 Published:2023-04-10
Contact: Jingyu YANG
About author:HAO Juming， born in 1973， senior engineer. His research interests include intelligent transportation.
HAN Shumei， born in 1992， M. S. candidate. Her research interests include remote sensing image processing.
WANG Yangping， born in 1973， Ph. D.， professor. Her research interests include remote sensing image processing and application.
Supported by:
National Natural Science Foundation of China(61763025);Gansu Provincial Science and Technology Program(21YF5GA158);Gansu Province Educational Science and Technology Innovation Project(2021jyjbgs-05);Scientific Research Project of Gansu Provincial Department of Transportation(2020-11);Lanzhou Science and Technology Program(2019-4-49);Tianjin University-Lanzhou Jiaotong University Independent Innovation Fund Cooperation Project(2021QB-053)

摘要/Abstract

摘要：

针对目前公路路面裂缝种类和尺度多样导致路面病害检测困难的问题，提出一种基于GhostNet的轻量化无人机图像裂缝检测方法检测不同种类路面裂缝。首先，引入轻量级GhostNet中的Ghost模块优化YOLOv4主干特征提取网络，得到轻量化模型YOLOv4-Light，以降低模型复杂度，并提高裂缝检测速度；然后，在模型预测输出端融合高效通道注意力（ECA）机制，从而进一步增强裂缝特征提取能力，提高裂缝检测精度。仿真实验结果表明，所提方法与现有的YOLOv4相比，模型大小降低了82.31%，模型参数量减少了82.56%，并提高了裂缝检测效率，能够满足公路运输过程中出现的不同类型的裂缝检测需求。

关键词: 裂缝检测, 轻量化, GhostNet, YOLOv4, 注意力机制

Abstract:

Aiming at the difficulty of detection of pavement diseases caused by the variety of types and scales of road pavement cracks， a lightweight unmanned aerial vehicle image crack detection method based on the GhostNet was proposed for the detection of different types of cracks in pavement. First， the Ghost module in the lightweight GhostNet was introduced to optimize the YOLOv4 backbone feature extraction network， and the lightweight model YOLOv4-Light was obtained， thereby reducing the model complexity and improving the crack detection speed. Then， the Efficient Channel Attention （ECA） mechanism was integrated in the model prediction output to further enhance the crack feature extraction ability and improve the precision of crack detection. Simulation results show that compared with the existing YOLOv4， the proposed method has the model size reduced by 82.31%， the amount of model parameters reduced by 82.56%， and the crack detection efficiency improved. The method can meet the detection needs of different types of cracks during road transportation.

Key words: crack detection, lightweight, GhostNet, YOLOv4, attention mechanism

中图分类号:

TP391

郝巨鸣, 杨景玉, 韩淑梅, 王阳萍. 引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法[J]. 计算机应用, 2023, 43(4): 1284-1290.

Juming HAO, Jingyu YANG, Shumei HAN, Yangping WANG. YOLOv4 highway pavement crack detection method using Ghost module and ECA[J]. Journal of Computer Applications, 2023, 43(4): 1284-1290.

图/表 8

参考文献 30

1	张广世，葛广英，朱荣华，等. 基于改进YOLOv3网络的齿轮缺陷检测［J］. 激光与光电子学进展， 2020， 57（12）： No.121009. 10.3788/lop57.121009
	ZHANG G S， GE G Y， ZHU R H，et al. Gear defect detection based on the improved YOLOv3 network［J］. Laser and Optoelectronics Progress， 2020， 57（12）： No.121009. 10.3788/lop57.121009
2	NGUYEN H N， KAM T Y， CHENG P Y. An automatic approach for accurate edge detection of concrete crack utilizing 2D geometric features of crack［J］. Journal of Signal Processing Systems， 2014， 77（3）： 221-240. 10.1007/s11265-013-0813-8
3	CHEN W Y， WANG H F， LI H， et al. Real-time garbage object detection with data augmentation and feature fusion using SUAV low-altitude remote sensing images［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： No.6003005. 10.1109/lgrs.2021.3074415
4	ZHANG Z Y， LIU Y P， LIU T C， et al. DAGN： a real-time UAV remote sensing image vehicle detection framework［J］. IEEE Geoscience and Remote Sensing Letters， 2020， 17（11）： 1884-1888. 10.1109/lgrs.2019.2956513
5	WANG Y Y， SONG K C， LIU J， et al. RENet： rectangular convolution pyramid and edge enhancement network for salient object detection of pavement cracks［J］. Measurement， 2021， 170： No.108698. 10.1016/j.measurement.2020.108698
6	LI B X， WANG K C P， ZHANG A， et al. Automatic classification of pavement crack using deep convolutional neural network［J］. International Journal of Pavement Engineering， 2020， 21（4）： 457-463. 10.1080/10298436.2018.1485917
7	CHA Y J， CHOI W， BÜYÜKÖZTÜRK O. Deep learning-based crack damage detection using convolutional neural networks［J］. Computer-Aided Civil and Infrastructure Engineering， 2017， 32（5）： 361-378. 10.1111/mice.12263
8	楼豪杰，郑元林，廖开阳，等. 基于Siamese-YOLOv4的印刷品缺陷目标检测［J］. 计算机应用， 2021， 41（11）：3206-3212. 10.11772/j.issn.1001-9081.2020121958
	LOU H J， ZHENG Y L， LIAO K Y， et al. Defect target detection for printed matter based on Siamese-YOLOv4［J］. Journal of Computer Applications， 2021， 41（11）：3206-3212. 10.11772/j.issn.1001-9081.2020121958
9	胡正平，张乐，李淑芳，等. 端对端SSD实时视频监控异常目标检测与定位算法［J］. 燕山大学学报， 2020， 44（5）：493-501. 10.3969/j.issn.1007-791X.2020.05.010
	HU Z P， ZHANG L， LI S F， et al. End-to-end SSD real-time video surveillance abnormal target detection and localization algorithm［J］. Journal of Yanshan University， 2020， 44（5）：493-501. 10.3969/j.issn.1007-791X.2020.05.010
10	蒋慧琴，王博霖，马岭，等. 一种双视图信息融合的乳腺肿块自动检测算法［J］. 郑州大学学报（理学版）， 2020， 52（4）：28-36. 10.13705/j.issn.1671-6841.2020234
	JIANG H Q， WANG B L， MA L， et al. An automatic breast mass detection algorithm with dual-view information fusion［J］. Journal of Zhengzhou University （Natural Science Edition）， 2020， 52（4）：28-36. 10.13705/j.issn.1671-6841.2020234
11	裴仪瑶，郭会明，张丹普，等. 基于定位不确定性的3D鲁棒目标检测方法［J］. 计算机应用， 2021， 41（10）：2979-2984.
	PEI Y Y， GUO H M， ZHANG D P， et al. Robust 3D object detection method based on localization uncertainty［J］. Journal of Computer Applications， 2021， 41（10）：2979-2984.
12	毛莺池，唐江红，王静，等. 基于Faster R-CNN的多任务增强裂缝图像检测方法［J］. 智能系统学报， 2021， 16（2）：286-293. 10.11992/tis.201910004
	MAO Y C， TANG J H， WANG J， et al. Multi-task enhanced dam crack image detection based on Faster R-CNN［J］. CAAI Transactions on Intelligent Systems， 2021， 16（2）：286-293. 10.11992/tis.201910004
13	孙朝云，裴莉莉，李伟，等. 基于改进Faster R-CNN的路面灌封裂缝检测方法［J］. 华南理工大学学报（自然科学版）， 2020， 48（2）：84-93.
	SUN Z Y， PEI L L， LI W， et al. Pavement sealed crack detection method based on improved Faster R-CNN［J］. Journal of South China University of Technology （Natural Science Edition）， 2020， 48（2）：84-93.
14	罗晖，贾晨，李健. 基于改进YOLOv4的公路路面病害检测算法［J］.激光与光电子学进展， 2021， 58（14）： No.1410025. 10.3788/LOP202158.1410025
	LUO H， JIA C， LI J， Road surface disease detection algorithm based on improved YOLOv4［J］. Laser and Optoelectronics Progress， 2021， 58（14）： No.1410025. 10.3788/LOP202158.1410025
15	王丹，李琦，梁栋，等. 基于多尺度全卷积与CRF的路面裂缝检测算法［J］. 燕山大学学报， 2021， 45（4）：367-376. 10.3969/j.issn.1007-791X.2021.04.010
	WANG D， LI Q， LIANG D， et al. Road crack detection algorithms based on multi-scale full convolution and CRF［J］. Journal of Yanshan University， 2021， 45（4）：367-376. 10.3969/j.issn.1007-791X.2021.04.010
16	罗禹杰，张剑，陈亮，等. 基于自适应空间特征融合的轻量化目标检测算法［J］. 激光与光电子学进展， 2022， 59（4）： No.0415004. 10.3788/LOP202259.0415004
	LUO Y J， ZHANG J， CHEN L， et al. Lightweight target detection algorithm based on adaptive spatial feature fusion［J］. Laser and Optoelectronics Progress， 2022， 59（4）： No.0415004. 10.3788/LOP202259.0415004
17	李想，熊进刚. 基于深度学习的低光照条件的混凝土裂缝检测［J］. 建筑结构， 2021， 51（S2）：1046-1050.
	LI X， XIONG J G. Detection of concrete cracks in low light condition based on deep learning［J］. Building Structure， 2021， 51（S2）：1046-1050.
18	ZHU J Q， ZHONG J T， MA T， et al. Pavement distress detection using convolutional neural networks with images captured via UAV［J］. Automation in Construction， 2022， 133： No.103991. 10.1016/j.autcon.2021.103991
19	宋立博，费燕琼. 两类YOLOv4-tiny简化网络及其裂缝检测性能比较［J］. 同济大学学报（自然科学版）， 2022， 50（1）：129-137.
	SONG L B， FEI Y Q. Comparison of two types YOLOv4-tiny simplified networks and their crack detection performance［J］. Journal of Tongji University （Natural Science）， 2022， 50（1）：129-137.
20	孔维刚，李文婧，王秋艳，等. 基于改进YOLOv4算法的轻量化网络设计与实现［J］. 计算机工程， 2022， 48（3）：181-188.
	KONG W G， LI W J， WANG Q Y， et al. Design and implementation of lightweight network based on improved YOLOv4 algorithm［J］. Computer Engineering， 2022， 48（3）：181-188.
21	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788. 10.1109/cvpr.2016.91
22	BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection［EB/OL］. （2020-04-23）［2022-02-12］..
23	WANG C Y， LIAO H Y M， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 1571-1580. 10.1109/cvprw50498.2020.00203
24	MISRA D. Mish： a self regularized non-monotonic activation function［C］// Proceedings of the 2020 British Machine Vision Conference. Durham： BMVA Press， 2020： No.90.
25	HE K M， ZHANG X Y， REN S Q. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
26	PURKAIT P， ZHAO C， ZACH C. SPP-Net： deep absolute pose regression with synthetic views［EB/OL］. （2017-12-09）［2022-02-12］..
27	HAN K， WANG Y H， TIAN Q， et al. GhostNet： more features from cheap operations［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1577-1586. 10.1109/cvpr42600.2020.00165
28	赵文清，杨盼盼. 双向特征融合与注意力机制结合的目标检测［J］. 智能系统学报， 2021， 16（6）：1098-1105. 10.11992/tis.202012029
	ZHAO W Q， YANG P P. Target detection based on bidirectional feature fusion and an attention mechanism［J］. CAAI Transactions on Intelligent Systems， 2021， 16（6）：1098-1105. 10.11992/tis.202012029
29	RIBANI R， MARENGONI M. A survey of transfer learning for convolutional neural networks［C］// Proceedings of the 32nd SIBGRAPI Conference on Graphics， Patterns and Images Tutorials. Piscataway： IEEE， 2019： 47-57. 10.1109/sibgrapi-t.2019.00010
30	SAHEL S， ALSAHAFI M， ALGHAMDI M， et al. Logo detection using deep learning with pretrained CNN models［J］. Engineering， Technology & Applied Science Research， 2021， 11（1）： 6724-6729. 10.48084/etasr.3919

特征图	操作	输入	输出	核	SE	Stride
76×76×27	Conv2D	（608，608，3）	（304，304，16）	（3，3）		2
	GhostBN1	（304，304，16）	（304，304，16）	（3，3）	×	1
	GhostBN2	（304，304，16）	（304，304，16）	（3，3）	×	1
	GhostBN2	（304，304，16）	（152，152，24）	（3，3）	×	2
	GhostBN2	（152，152，24）	（76，76，40）	（5，5）	√	2
	GhostBN2	（76，76，40）	（76，76，40）	（5，5）	√	1
38×38×27	GhostBN4	（76，76，40）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
	GhostBN2	（38，38，80）	（38，38，112）	（3，3）	√	1
	GhostBN2	（38，38，112）	（38，38，112）	（3，3）	√	1
19×19×27	GhostBN5	（38，38，112）	（19，19，160）	（5，5）	√	2
		（19，19，160）	（19，19，160）	（5，5）	×	1
		（19，19，160）	（19，19，160）	（5，5）	√	1
		（19，19，160）	（19，19，160）	（5，5）	×	1
		（19，19，160）	（19，19，160）	（5，5）	√	1

特征图	操作	输入	输出	核	SE	Stride
76×76×27	Conv2D	（608，608，3）	（304，304，16）	（3，3）		2
	GhostBN1	（304，304，16）	（304，304，16）	（3，3）	×	1
	GhostBN2	（304，304，16）	（304，304，16）	（3，3）	×	1
	GhostBN2	（304，304，16）	（152，152，24）	（3，3）	×	2
	GhostBN2	（152，152，24）	（76，76，40）	（5，5）	√	2
	GhostBN2	（76，76，40）	（76，76，40）	（5，5）	√	1
38×38×27	GhostBN4	（76，76，40）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
		（38，38，80）	（38，38，80）	（3，3）	×	1
	GhostBN2	（38，38，80）	（38，38，112）	（3，3）	√	1
	GhostBN2	（38，38，112）	（38，38，112）	（3，3）	√	1
19×19×27	GhostBN5	（38，38，112）	（19，19，160）	（5，5）	√	2
		（19，19，160）	（19，19，160）	（5，5）	×	1
		（19，19，160）	（19，19，160）	（5，5）	√	1
		（19，19，160）	（19，19，160）	（5，5）	×	1
		（19，19，160）	（19，19，160）	（5，5）	√	1

实验	GhostNet	ECA	mAP/%	模型大小/MB	参数量/10⁶
1			58.17	250.93	64.12
2	√		48.39	44.38	11.09
3		√	60.35	250.50	64.19
4	√	√	56.34	44.40	11.18

实验	GhostNet	ECA	mAP/%	模型大小/MB	参数量/10⁶
1			58.17	250.93	64.12
2	√		48.39	44.38	11.09
3		√	60.35	250.50	64.19
4	√	√	56.34	44.40	11.18

模型	AP/%				mAP/%	模型大小/MB	参数量/10⁶
模型	LC	TC	MC	RC	mAP/%	模型大小/MB	参数量/10⁶
YOLOv3	56.33	54.61	38.45	54.74	54.74	241.26	61.60
改进YOLOv3^［17］	58.19	56.27	40.16	55.97	52.65	247.39	63.54
YOLOv4-tiny	46.26	43.18	35.24	45.69	42.59	23.37	58.92
改进的YOLOv4-tiny^［19］	50.21	44.34	38.29	48.64	45.37	31.25	61.17
YOLOv4	60.21	56.37	43.26	58.17	58.17	250.93	64.12
本文模型	58.42	56.14	46.19	56.34	56.34	44.40	11.18

引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法

YOLOv4 highway pavement crack detection method using Ghost module and ECA

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 30

相关文章 15

编辑推荐

Metrics

[1]	孙浩, 曹健, 李海生, 毛典辉. 基于改进胶囊网络的会话型推荐模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1043-1049.
[2]	张韵, 王淑营, 郑庆, 张海柱. 保持细节几何特征的三维网格模型轻量化算法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1226-1232.
[3]	祖佳贞, 周永霞, 陈乐. 结合注意力的双分支残差低光照图像增强[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1240-1247.
[4]	窦光义, 魏发南, 邱创一, 巢建树. 基于注意力自相关机制的跟踪外观特征[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1248-1254.
[5]	袁泉, 徐雲鹏, 唐成亮. 基于路径标签的文档级关系抽取方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1029-1035.
[6]	何雪东, 宣士斌, 王款, 陈梦楠. 融合累积分布函数和通道注意力机制的DeepLabV3+图像分割算法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 936-942.
[7]	尹聪, 胡汉平. 基于时间注意力机制的时滞混沌系统参数辨识模型[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 842-847.
[8]	李佳东, 张丹普, 范亚琼, 杨剑锋. 基于改进YOLOv5的轻量级船舶目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 923-929.
[9]	孙杰, 吴绍鑫, 王学军, 华璟. 基于Sophon SC5+芯片构架的行人搜索算法与优化[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 744-751.
[10]	刘聪, 万根顺, 高建清, 付中华. 基于韵律特征辅助的端到端语音识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 380-384.
[11]	邵小萌, 张猛. 融合注意力机制的时间卷积知识追踪模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 343-348.
[12]	王萍, 陈楠, 鲁磊. 基于场景先验及注意力引导的跌倒检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 529-535.
[13]	谌贵辉, 林瑾瑜, 李跃华, 李忠兵, 魏钰力, 卢凯. 注意力机制下的多阶段低照度图像增强网络[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 552-559.
[14]	徐铭, 李林昊, 齐巧玲, 王利琴. 基于注意力平衡列表的溯因推理模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 349-355.
[15]	郭克友, 李雪, 杨民. 基于轻量化YOLOv4的交通信息实时检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 74-80.