渐进式上下文交互和注意力机制的混凝土路面裂缝检测网络

doi:10.11772/j.issn.1001-9081.2024101486

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (10): 3353-3362.DOI: 10.11772/j.issn.1001-9081.2024101486

• 前沿与综合应用 • 上一篇

渐进式上下文交互和注意力机制的混凝土路面裂缝检测网络

尹学辉¹(), 傅林琳¹, 周尚波²

^1.重庆邮电大学软件工程学院，重庆 400065
^2.重庆大学计算机学院，重庆 401331

收稿日期:2024-10-24 修回日期:2025-01-17 接受日期:2025-01-22 发布日期:2025-03-14 出版日期:2025-10-10
通讯作者: 尹学辉
作者简介:尹学辉（1986—），男，四川广安人，副教授，博士，CCF会员，主要研究方向：计算机视觉、机器学习、智能软件工程 Email:yinxh@cqupt.edu.cn
傅林琳（2000—），女，重庆人，硕士研究生，主要研究方向：图像分割、深度学习
周尚波（1963—），男，广西宁明人，教授，博士生导师，博士，CCF会员，主要研究方向：视频信号处理、人工神经网络。
基金资助:
国家自然科学基金资助项目(62176034)

Concrete pavement crack detection network with progressive context interaction and attention mechanism

Xuehui YIN¹(), Linlin FU¹, Shangbo ZHOU²

^1.School of Software Engineering，Chongqing University of Posts and Telecommunications，Chongqing 400065，China
^2.College of Computer Science，Chongqing University，Chongqing 401331，China

Received:2024-10-24 Revised:2025-01-17 Accepted:2025-01-22 Online:2025-03-14 Published:2025-10-10
Contact: Xuehui YIN
About author:YIN Xuehui， born in 1986， Ph. D.， associate professor. His research interests include computer vision， machine learning， intelligent software engineering.
FU Linlin， born in 2000， M. S. candidate. Her research interests include image segmentation， deep learning.
ZHOU Shangbo， born in 1963， Ph. D.， professor. His research interests include video signal processing， artificial neural networks.
Supported by:
National Natural Science Foundation of China(62176034)

摘要/Abstract

摘要：

为保障道路质量与安全，自动化裂缝检测在混凝土路面维护中至关重要。针对现有的基于深度学习的裂缝检测方法因过度下采样导致裂缝像素信息丢失的问题，提出一种基于渐进式上下文交互和注意力机制的混凝土裂缝检测网络。首先，以优化后的UNet++为主干，采用非对称卷积块增强特征提取能力；其次，引入渐进式上下文交互机制（PCIM）以高效地捕捉与融合相邻特征图的多尺度特征；再次，在特征增强阶段，用注意力组合（AC）方式提高特征表达能力；最后，在特征融合阶段，使用多语义注意力动态融合模块（MADFM）增强细节恢复和保留效果。在3个公开数据集上的测试结果表明，相较于DeepCrack、CrackFormer、PAF-Net（Progressive and Adaptive Feature Fusion Network），所提网络的性能更优。在DeepCrack测试集上，所提网络的F-score分别提高了1.33、5.07和3.93个百分点；在Crack500测试集上，分别提升了3.04、4.35和0.82个百分点；在CFD测试集上，分别提升了3.03、6.00和4.73个百分点。这些结果充分验证了所提网络在裂缝检测准确性方面实现了提升，同时在不同测试集上均展现出了出色的鲁棒性能。

关键词: UNet++, 裂缝检测, 非对称卷积, 多尺度特征融合, 注意力机制

Abstract:

To ensure road quality and safety， automated crack detection is crucial for the maintenance of concrete pavement. To address the issue of pixel information loss caused by excessive down-sampling in the existing deep learning-based crack detection methods， a concrete crack detection network based on progressive context interaction and attention mechanisms was proposed. Firstly， with an optimized UNet++ as the backbone， asymmetric convolution blocks were applied to enhance feature extraction ability. Secondly， Progressive Context Interaction Mechanism （PCIM） was introduced to capture and fuse multi-scale features of adjacent feature maps efficiently. Thirdly， in the feature enhancement phase， the Attention Combination （AC） approach was used to improve feature representation capability. Finally， in the feature fusion phase， a Multi-Semantic Attention Dynamic Fusion Module （MADFM） was utilized to enhance detail recovery and retention effects. Test results on three public datasets show that compared to DeepCrack， CrackFormer， and PAF-Net （Progressive and Adaptive feature Fusion Network）， the proposed network achieves superior performance. Specifically， the proposed network has the F-score improved by 1.33， 5.07， and 3.93 percentage points， respectively， on the DeepCrack test set； enhanced by 3.04， 4.35， and 0.82 percentage points， respectively， on the Crack500 test set； and increased by 3.03， 6.00， and 4.73 percentage points， respectively， on the CFD test set. These results verify fully that the proposed network achieves enhanced accuracy in crack detection and has excellent robust performance on different test sets.

Key words: UNet++, crack detection, asymmetric convolution, multi-scale feature fusion, attention mechanism

中图分类号:

TP391.41

尹学辉, 傅林琳, 周尚波. 渐进式上下文交互和注意力机制的混凝土路面裂缝检测网络[J]. 计算机应用, 2025, 45(10): 3353-3362.

Xuehui YIN, Linlin FU, Shangbo ZHOU. Concrete pavement crack detection network with progressive context interaction and attention mechanism[J]. Journal of Computer Applications, 2025, 45(10): 3353-3362.

图/表 12

参考文献 37

[1]	LI H， SONG D， LIU Y， et al. Automatic pavement crack detection by multi-scale image fusion［J］. IEEE Transactions on Intelligent Transportation Systems， 2019， 20（6）： 2025-2036.
[2]	QU Z， CAO C， LIU L， et al. A deeply supervised convolutional neural network for pavement crack detection with multiscale feature fusion［J］. IEEE Transactions on Neural Networks and Learning Systems， 2022， 33（9）： 4890-4899.
[3]	LIU Y， YAO J， LU X， et al. DeepCrack： a deep hierarchical feature learning architecture for crack segmentation［J］. Neurocomputing， 2019， 338： 139-153.
[4]	YANG F， ZHANG L， YU S， et al. Feature pyramid and hierarchical boosting network for pavement crack detection［J］. IEEE Transactions on Intelligent Transportation Systems， 2020， 21（4）： 1525-1535.
[5]	CHEN F C， JAHANSHAHI M R. NB-FCN： real-time accurate crack detection in inspection videos using deep fully convolutional network and parametric data fusion［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 69（8）： 5325-5334.
[6]	HAN C， MA T， HUYAN J， et al. CrackW-Net： a novel pavement crack image segmentation convolutional neural network［J］. IEEE Transactions on Intelligent Transportation Systems， 2021， 23（11）： 22135-22144.
[7]	CHEN H， LIN H. An effective hybrid atrous convolutional network for pixel-level crack detection［J］. IEEE Transactions on Instrumentation and Measurement， 2021， 70： No.5009312.
[8]	ZHANG H， ZHANG A A， DONG Z， et al. Robust semantic segmentation for automatic crack detection within pavement images using multi-mixing of global context and local image features［J］. IEEE Transactions on Intelligent Transportation Systems， 2024， 25（9）： 11282-11303.
[9]	CHENG X， HE T， SHI F， et al. Selective feature fusion and irregular-aware network for pavement crack detection［J］. IEEE Transactions on Intelligent Transportation Systems， 2024， 25（5）： 3445-3456.
[10]	CHEN J， WEN Y， NANEHKARAN Y A， et al. Multiscale attention networks for pavement defect detection［J］. IEEE Transactions on Instrumentation and Measurement， 2023， 72： No.2522012.
[11]	ZHOU Q， QU Z， JU F R. A lightweight network for crack detection with split exchange convolution and multi-scale features fusion［J］. IEEE Transactions on Intelligent Vehicles， 2023， 8（3）： 2296-2306.
[12]	ZHANG J， HUANG F， LV Y， et al. Training surface crack segmentation networks with groupwise normalization attention and padding-shifting-cutting convolution［J］. IEEE Sensors Journal， 2024， 24（13）： 21093-21107.
[13]	BAI S， YANG L， LIU Y， et al. DMF-Net： a dual-encoding multi-scale fusion network for pavement crack detection［J］. IEEE Transactions on Intelligent Transportation Systems， 2024， 25（6）： 5981-5996.
[14]	YANG L， HUANG H， KONG S， et al. PAF-Net： a progressive and adaptive fusion network for pavement crack segmentation［J］. IEEE Transactions on Intelligent Transportation Systems， 2023， 24（11）： 12686-12700.
[15]	ZHOU Q， QU Z， LI Y X， et al. Tunnel crack detection with linear seam based on mixed attention and multiscale feature fusion［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： No.5014711.
[16]	QU Z， WANG J D， YIN X H. A directional connectivity feature enhancement network for pavement crack detection［J］. IEEE Transactions on Intelligent Transportation Systems， 2025， 26（1）： 1039-1054.
[17]	FANG J， YANG C， SHI Y， et al. External attention based TransUNet and label expansion strategy for crack detection［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（10）： 19054-19063.
[18]	ZHU W， ZHANG H， EASTWOOD J， et al. Concrete crack detection using lightweight attention feature fusion single shot multibox detector［J］. Knowledge-Based Systems， 2023， 261： No.110216.
[19]	郝巨鸣，杨景玉，韩淑梅，等. 引入Ghost模块和ECA的YOLOv4 公路路面裂缝检测方法［J］. 计算机应用， 2023， 43（4）： 1284-1290.
	HAO J M， YANG J Y， HAN S M， et al. YOLOv4 highway pavement crack detection method using Ghost module and ECA［J］. Journal of Computer Applications， 2023， 43（4）： 1284-1290.
[20]	WANG Y， HE Z， ZENG X， et al. GGMNet： pavement-crack detection based on global context awareness and multi-scale fusion［J］. Remote Sensing， 2024， 16（10）： No.1797.
[21]	ZHANG E， JIANG T， DUAN J. A multi-stage feature aggregation and structure awareness network for concrete bridge crack detection［J］. Sensors， 2024， 24（5）： No.1542.
[22]	FENG H， MA L， YU Y， et al. SCL-GCN： stratified contrastive learning graph convolution network for pavement crack detection from mobile LiDAR point clouds［J］. International Journal of Applied Earth Observation and Geoinformation， 2023， 118： No.103248.
[23]	QU Z， WANG C Y， WANG S Y， et al. A method of hierarchical feature fusion and connected attention architecture for pavement crack detection［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（9）： 16038-16047.
[24]	ZHANG C， CHEN Y， TANG L， et al. CTCD-Net： a cross-layer transmission network for tiny road crack detection［J］. Remote Sensing， 2023， 15（8）： No.2185.
[25]	夏淑芳，袁彬，瞿中. 基于注意力机制和深层特征优化的混凝土路面裂缝检测［J］. 计算机科学， 2024， 51（11）： 198-204.
	XIA S F， YUAN B， QU Z. Crack detection and concrete pavement based on attention mechanism and deep feature optimization［J］. Computer Science， 2024， 51（11）： 198-204.
[26]	许正森，雷相达，管海燕. 多尺度局部特征增强Transformer道路裂缝检测模型［J］. 中国图象图形学报， 2023， 28（4）： 1019-1028.
	XU Z S， LEI X D， GUAN H Y. Multi-scale local feature enhanced Transformer for road crack detection［J］. Journal of Image and Graphics， 2023， 28（4）： 1019-1028.
[27]	ZHOU Z， RAHMAN SIDDIQUEE M M， TAJBAKHSH N， et al. UNet++： a nested U-Net architecture for medical image segmentation［C］// Proceedings of the 2018 International Workshop on Deep Learning in Medical Image Analysis/ International Workshop on Multimodal Learning for Clinical Decision Support， LNCS 11045. Cham： Springer， 2018： 3-11.
[28]	DING X， GUO Y， DING G， et al. ACNet： strengthening the kernel skeletons for powerful CNN via asymmetric convolution blocks［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1911-1920.
[29]	MISRA D， NALAMADA T， ARASANIPALAI A U， et al. Rotate to attend： convolutional triplet attention module［C］// Proceedings of the 2021 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2021： 3138-3147.
[30]	SUN K， XIAO B， LIU D， et al. Deep high-resolution representation learning for human pose estimation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5686-5696.
[31]	SHI Y， CUI L， QI Z， et al. Automatic road crack detection using random structured forests［J］. IEEE Transactions on Intelligent Transportation Systems， 2016， 17（12）： 3434-3445.
[32]	RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention. LNCS 9351. Cham： Springer， 2015： 234-241.
[33]	XIE S， TU Z. Holistically-nested edge detection［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1395-1403.
[34]	LIU H， MIAO X， MERTZ C， et al. CrackFormer： Transformer network for fine-grained crack detection［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 3763-3772.
[35]	QI Y， HE Y， QI X， et al. Dynamic snake convolution based on topological geometric constraints for tubular structure segmentation［C］// Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2023： 6047-6056.
[36]	TANG F， DING J， QUAN Q， et al. CMUNeXt： an efficient medical image segmentation network based on large kernel and skip fusion［C］// Proceedings of the 2024 IEEE International Symposium on Biomedical Imaging. Piscataway： IEEE， 2024： 1-5.
[37]	MEI Q， GÜL M， AZIM M R. Densely connected deep neural network considering connectivity of pixels for automatic crack detection［J］. Automation in Construction， 2020， 110： No.103018.

方法	P	R	F-score	MIoU
U-net^［32］	0.848 8	0.823 0	0.835 7	0.851 6
UNet++^［27］	0.837 7	0.811 0	0.824 2	0.842 8
HED^［33］	0.814 4	0.817 4	0.815 9	0.836 2
DeepCrack^［3］	0.851 3	0.865 3	0.858 3	0.869 5
CrackFormer^［34］	0.844 9	0.798 1	0.820 9	0.840 3
CrackW-Net^［6］	0.803 4	0.810 9	0.807 1	0.829 6
HACNet^［7］	0.840 6	0.832 4	0.836 4	0.852 1
PAF-Net^［14］	0.826 8	0.837 9	0.832 3	0.848 8
DSCNet^［35］	0.888 7	0.773 0	0.826 8	0.845 1
CMUNeXt^［36］	0.833 5	0.828 0	0.830 8	0.847 7
本文方法	0.870 0	0.873 1	0.871 6	0.880 4

方法	P	R	F-score	MIoU
U-net^［32］	0.848 8	0.823 0	0.835 7	0.851 6
UNet++^［27］	0.837 7	0.811 0	0.824 2	0.842 8
HED^［33］	0.814 4	0.817 4	0.815 9	0.836 2
DeepCrack^［3］	0.851 3	0.865 3	0.858 3	0.869 5
CrackFormer^［34］	0.844 9	0.798 1	0.820 9	0.840 3
CrackW-Net^［6］	0.803 4	0.810 9	0.807 1	0.829 6
HACNet^［7］	0.840 6	0.832 4	0.836 4	0.852 1
PAF-Net^［14］	0.826 8	0.837 9	0.832 3	0.848 8
DSCNet^［35］	0.888 7	0.773 0	0.826 8	0.845 1
CMUNeXt^［36］	0.833 5	0.828 0	0.830 8	0.847 7
本文方法	0.870 0	0.873 1	0.871 6	0.880 4

方法	P	R	F-score	MIoU
U-net^［32］	0.675 5	0.757 1	0.714 0	0.760 0
UNet++^［27］	0.671 7	0.752 2	0.709 7	0.757 1
HED^［33］	0.698 0	0.725 6	0.711 5	0.758 9
DeepCrack^［3］	0.674 5	0.738 8	0.705 2	0.754 5
CrackFormer^［34］	0.658 6	0.729 3	0.692 1	0.745 9
CrackW-Net^［6］	0.654 5	0.708 1	0.680 3	0.738 4
HACNet^［7］	0.679 9	0.732 2	0.705 1	0.754 5
PAF-Net^［14］	0.709 9	0.745 9	0.727 4	0.769 4
DSCNet^［35］	0.709 8	0.705 7	0.707 8	0.756 8
CMUNeXt^［36］	0.689 7	0.752 8	0.719 9	0.764 0
本文方法	0.713 5	0.759 2	0.735 6	0.774 9

方法	P	R	F-score	MIoU
U-net^［32］	0.675 5	0.757 1	0.714 0	0.760 0
UNet++^［27］	0.671 7	0.752 2	0.709 7	0.757 1
HED^［33］	0.698 0	0.725 6	0.711 5	0.758 9
DeepCrack^［3］	0.674 5	0.738 8	0.705 2	0.754 5
CrackFormer^［34］	0.658 6	0.729 3	0.692 1	0.745 9
CrackW-Net^［6］	0.654 5	0.708 1	0.680 3	0.738 4
HACNet^［7］	0.679 9	0.732 2	0.705 1	0.754 5
PAF-Net^［14］	0.709 9	0.745 9	0.727 4	0.769 4
DSCNet^［35］	0.709 8	0.705 7	0.707 8	0.756 8
CMUNeXt^［36］	0.689 7	0.752 8	0.719 9	0.764 0
本文方法	0.713 5	0.759 2	0.735 6	0.774 9

方法	P	R	F-score	MIoU
U-net^［32］	0.531 4	0.635 0	0.578 6	0.696 1
UNet++^［27］	0.512 0	0.609 1	0.556 4	0.684 8
HED^［33］	0.484 2	0.563 8	0.521 0	0.667 9
DeepCrack^［3］	0.549 7	0.642 4	0.592 5	0.703 2
CrackFormer^［34］	0.530 3	0.599 7	0.562 8	0.688 2
CrackW-Net^［6］	0.494 3	0.550 4	0.520 8	0.667 8
HACNet^［7］	0.578 4	0.560 9	0.569 5	0.692 1
PAF-Net^［14］	0.529 7	0.630 1	0.575 5	0.694 7
DSCNet^［35］	0.563 7	0.444 6	0.497 1	0.658 0
CMUNeXt^［36］	0.562 7	0.566 9	0.564 8	0.689 6
本文方法	0.595 2	0.653 1	0.622 8	0.719 7

渐进式上下文交互和注意力机制的混凝土路面裂缝检测网络

Concrete pavement crack detection network with progressive context interaction and attention mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 37

相关文章 15

编辑推荐

Metrics

方法	P	R	F-score	MIoU
ACUnet	0.842 4	0.858 2	0.850 2	0.862 9
ACUnet+PCIM	0.871 7	0.865 5	0.868 6	0.873 1
ACUnet+AC	0.860 5	0.868 3	0.864 4	0.874 5
ACUnet+MADFM	0.856 4	0.873 0	0.864 6	0.874 6
本文方法	0.870 0	0.873 1	0.871 6	0.880 4

[1]	吕景刚, 彭绍睿, 高硕, 周金. 复频域注意力和多尺度频域增强驱动的语音增强网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2957-2965.
[2]	梁一鸣, 范菁, 柴汶泽. 基于双向交叉注意力的多尺度特征融合情感分类[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2773-2782.
[3]	邓伊琳, 余发江. 基于LSTM和可分离自注意力机制的伪随机数生成器[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2893-2901.
[4]	李维刚, 邵佳乐, 田志强. 基于双注意力机制和多尺度融合的点云分类与分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3003-3010.
[5]	王翔, 陈志祥, 毛国君. 融合局部和全局相关性的多变量时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2806-2816.
[6]	吴海峰, 陶丽青, 程玉胜. 集成特征注意力和残差连接的偏标签回归算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2530-2536.
[7]	敬超, 全育涛, 陈艳. 基于多层感知机-注意力模型的功耗预测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2646-2655.
[8]	林进浩, 罗川, 李天瑞, 陈红梅. 基于跨尺度注意力网络的胸部疾病分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2712-2719.
[9]	周金, 李玉芝, 张徐, 高硕, 张立, 盛家川. 复杂电磁环境下的调制识别网络[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2672-2682.
[10]	梁辰, 王奕森, 魏强, 杜江. 基于Tsransformer-GCN的源代码漏洞检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2296-2303.
[11]	王艺涵, 路翀, 陈忠源. 跨模态文本信息增强的多模态情感分析模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2237-2244.
[12]	陈亮, 王璇, 雷坤. 复杂场景下跨层多尺度特征融合的安全帽佩戴检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2333-2341.
[13]	刘皓宇, 孔鹏伟, 王耀力, 常青. 基于多视角信息的行人检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2325-2332.
[14]	赵小强, 柳勇勇, 惠永永, 刘凯. 基于改进时域卷积网络与多头自注意力机制的间歇过程质量预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2245-2252.
[15]	王慧斌, 胡展傲, 胡节, 徐袁伟, 文博. 基于分段注意力机制的时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2262-2268.