融合频域注意力机制和解耦头的YOLOv5带钢表面缺陷检测

doi:10.11772/j.issn.1001-9081.2021111926

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (1): 242-249.DOI: 10.11772/j.issn.1001-9081.2021111926

• 多媒体计算与计算机仿真 • 上一篇下一篇

融合频域注意力机制和解耦头的YOLOv5带钢表面缺陷检测

孙泽强¹, 陈炳才^1,2, 崔晓博¹, 王磊¹, 陆雅诺¹

1.新疆师范大学计算机科学技术学院，乌鲁木齐 830054
2.大连理工大学计算机科学与技术学院，辽宁大连 116024

收稿日期:2021-11-15 修回日期:2022-05-02 发布日期:2023-01-12
通讯作者: 陈炳才（1978—），男，福建漳平人，教授，博士，主要研究方向：图像处理、无线通信china@dlut.edu.cn
作者简介:孙泽强（1997—），男，山西运城人，硕士研究生，主要研究方向：缺陷检测；崔晓博（1996—），男，山西运城人，硕士研究生，主要研究方向：图像处理；王磊（1997—），男，安徽合肥人，硕士研究生，主要研究方向：深度学习；陆雅诺（1996—），男，安徽铜陵人，硕士研究生，主要研究方向：计算机视觉；
基金资助:
国家自然科学基金资助项目（61961040，61771089）；新疆自治区区域协同创新专项（科技援疆计划）（2020E0247，2019E0214）。

Strip steel surface defect detection by YOLOv5 algorithm fusing frequency domain attention mechanism and decoupled head

SUN Zeqiang¹, CHEN Bingcai^1,2, CUI Xiaobo¹, WANG Lei¹, LU Yanuo¹

1.School of Computer Science and Technology， Xinjiang Normal University， Urumqi Xinjiang 830054， China
2.College of Computer Science and Technology， Dalian University of Technology， Dalian Liaoning 116024， China

Received:2021-11-15 Revised:2022-05-02 Online:2023-01-12
Contact: CHEN Bingcai， born in 1978， Ph. D.， professor. His research interests include image processing， wireless communication.
About author:SUN Zeqiang， born in 1997， M. S. candidate. His research interests include defect detection；CUI Xiaobo， born in 1996， M. S. candidate. His research interests include image processing；WANG Lei， born in 1997， M. S. candidate. His research interests include deep learning；LU Yanuo， born in 1996， M. S. candidate. His research interests include computer vision；
Supported by:
This work is partially supported by National Natural Science Foundation of China （61961040， 61771089）， Xinjiang Autonomous Region Regional Collaborative Innovation Project — Science and Technology Assistance Program for Xinjiang （2020E0247， 2019E0214）.

摘要/Abstract

摘要： 针对带钢表面缺陷在实际场景中检测精度低，易出现漏检和误检的情况，构建一种YOLOv5-CFD模型对带钢缺陷目标进行更精确的检测，该模型由CSPDarknet53、FcaNet与解耦检测头（Decoupled head）组成。首先，采用模糊C均值（FCM）算法对东北大学公开的NEU-DET热轧带钢表面缺陷检测数据集中的锚框进行聚类，优化先验框和真实框之间的匹配度；其次，为提取目标区域丰富的细节信息，在原始YOLOv5算法基础上添加频域通道注意力模块FcaNet；最后，采用解耦检测头将分类任务和回归任务分离。在NEU-DET数据集上的实验结果表明，改进的YOLOv5算法在引入较少参数量的情况下，检测精度提高了4.2个百分点，平均精度均值（mAP）达到85.5%，每秒传输帧数（Frames Per Second，FPS）达到27.71，与原YOLOv5相差不大，能够满足检测实时性的要求。

关键词: YOLOv5, 频域注意力机制, 解耦头, 锚框, 聚类算法, 表面缺陷检测

Abstract: Aiming at the low detection precision of strip steel surface defects in actual scenarios， which is prone to missed detection and false detection， a YOLOv5-CFD model consisted of CSPDarknet53， Frequency channel attention Network （FcaNet） and Decoupled head was constructed to detect strip steel defects more accurately. Firstly， Fuzzy C-Means （FCM） algorithm was used to cluster anchor boxes in NEU-DET hot-rolling strip steel surface defect detection dataset published by Northeastern University to optimize the matching degree between the prior box and the ground-truth box. Secondly， in order to extract the rich detailed information of the target area， the frequency domain channel attention module FcaNet （Frequency channel attention Network） was added to the original YOLOv5 algorithm. Finally， the decoupled head was used to separate the classification and regression tasks. Experimental results on NEU-DET dataset show that with introducing a small number of parameters to the original YOLOv5 algorithm， the improved YOLOv5 algorithm has the detection precision increased by 4.2 percentage points， the detection mean Average Precision （mAP） of 85.5%； and the detection speed reaches 27.71 Frames Per Second （FPS）， which is not much different from the original YOLOv5 so that YOLOv5-CFD can meet the real-time detection requirements.

Key words: YOLOv5, frequency domain attention mechanism, decoupled head, anchor box, clustering algorithm, surface defect detection

中图分类号:

TP391.4

孙泽强, 陈炳才, 崔晓博, 王磊, 陆雅诺. 融合频域注意力机制和解耦头的YOLOv5带钢表面缺陷检测[J]. 计算机应用, 2023, 43(1): 242-249.

SUN Zeqiang, CHEN Bingcai, CUI Xiaobo, WANG Lei, LU Yanuo. Strip steel surface defect detection by YOLOv5 algorithm fusing frequency domain attention mechanism and decoupled head[J]. Journal of Computer Applications, 2023, 43(1): 242-249.

参考文献

1 董文轩，梁宏涛，刘国柱，等. 深度卷积应用于目标检测算法综述［J］. 计算机科学与探索， 2022， 16（5）：1025-1042. 10.3778/j.issn.1673-9418.2111063 DONG W X， LIANG H T， LIU G Z， et al. Review of deep convolution applied to target detection algorithms［J］. Journal of Frontiers of Computer Science and Technology， 2022， 16（5）：1025-1042. 10.3778/j.issn.1673-9418.2111063
2 李晓晓. 冷轧罩式炉退火带钢表面质量缺陷问题研究［J］. 冶金管理， 2021（5）：11-12. LI X X. Research on surface quality defects of cold rolled bell furnace annealed strip［J］. China Steel Focus， 2021（5）：11-12.
3 郑远攀，李广阳，李晔. 深度学习在图像识别中的应用研究综述［J］.计算机工程与应用， 2019， 55（12）：20-36. 10.3778/j.issn.1002-8331.1903-0031 ZHENG Y P， LI G Y， LI Y. Survey of application of deep learning in image recognition［J］. Computer Engineering and Applications， 2019， 55（12）：20-36. 10.3778/j.issn.1002-8331.1903-0031
4 GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 580-587. 10.1109/cvpr.2014.81
5 GIRSHICK R. Fast R-CNN［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1440-1448. 10.1109/iccv.2015.169
6 REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. 10.1109/tpami.2016.2577031
7 HE K M， GKIOXARI G， DOLLáR P， et al. Mask R-CNN［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2961-2969. 10.1109/iccv.2017.322
8 SERMANET P， EIGEN D， ZHANG X， et al. OverFeat： integrated recognition， localization and detection using convolutional networks［EB/OL］. ［2021-10-13］.https：//arxiv.org/pdf/1312.6229.pdf.
9 REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788. 10.1109/cvpr.2016.91
10 REDMON J， FARHADI A. YOLO9000： better， faster， stronger［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6517-6525. 10.1109/cvpr.2017.690
11 REDMON J， FARHADI A. YOLOv3： an incremental improvement［EB/OL］. （2018-04-08）［2021-11-03］.https：//arxiv.org/pdf/1804.02767.pdf. 10.1109/cvpr.2017.690
12 LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multiBox detector［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 21-37.
13 陆雅诺，陈炳才，陈德刚，等. 一种基于注意力模型的带钢表面缺陷识别算法［J］. 激光与光电子学进展， 2021， 58（14）： No.1410014. 10.3788/LOP202158.1410014 LU Y N， CHEN B C， CHEN D G， et al. Recognition algorithm of strip steel surface defects based on attention model［J］. Laser and Optoelectronics Progress， 2021， 58（14）： No.1410014. 10.3788/LOP202158.1410014
14 翁玉尚，肖金球，夏禹. 改进Mask R-CNN算法的带钢表面缺陷检测［J］. 计算机工程与应用， 2021， 57（19）：235-242. WANG Y S， XIAO J Q， XIA Y. Strip surface defect detection based on improved Mask R-CNN algorithm［J］. Computer Engineering and Applications， 2021， 57（19）：235-242.
15 李维刚，叶欣，赵云涛，等. 基于改进YOLOv3算法的带钢表面缺陷检测［J］. 电子学报， 2020， 48（7）：1284-1292. 10.3969/j.issn.0372-2112.2020.07.006 LI W G， YE X， ZHAO Y T， et al. Strip steel surface defect detection based on improved YOLOv3 algorithm［J］. Acta Electronica Sinica， 2020， 48（7）：1284-1292. 10.3969/j.issn.0372-2112.2020.07.006
16 钱坤，李晨瑄，陈美杉，等. 基于YOLOv5的舰船目标及关键部位检测算法［J］. 系统工程与电子技术， 2022， 44（6）：1823-1832. 10.12305/j.issn.1001-506X.2022.06.07 QIAN K， LI C X， CHEN M S， et al. Ship target and key parts detection algorithm based on YOLOv5［J］. Systems Engineering and Electronics， 2022， 44（6）：1823-1832. 10.12305/j.issn.1001-506X.2022.06.07
17 王榆锋，李大海. 改进YOLO框架的血细胞检测算法［J］. 计算机工程与应用， 2022， 58（12）：191-198. 10.3778/j.issn.1002-8331.2110-0224 WANG Y F， LI D H. Improved YOLO framework blood cell detection algorithm［J］. Computer Engineering and Applications， 2022， 58（12）：191-198. 10.3778/j.issn.1002-8331.2110-0224
18 QIN Z Q， ZHANG P Y， WU F， et al. FcaNet： frequency channel attention networks［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 763-772. 10.1109/iccv48922.2021.00082
19 WANG C Y， LIAO H Y M， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 1571-1580. 10.1109/cvprw50498.2020.00203
20 LIN T Y， DOLLáR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944. 10.1109/cvpr.2017.106
21 LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8759-8768. 10.1109/cvpr.2018.00913
22 LEI T， JIA X H， ZHANG Y N， et al. Superpixel-based fast fuzzy c-means clustering algorithms for color image segmentation［J］. IEEE Transactions on Fuzzy Systems， 2019， 27（9）： 1753-1766. 10.1109/tfuzz.2018.2889018
23 王文冠，沈建冰，贾云得. 视觉注意力检测综述［J］. 软件学报， 2019， 30（2）：416-439. 10.13328/j.cnki.jos.005636 WANG W G， SHEN J B， JIA Y D. Review of visual attention detection［J］. Journal of Software， 2019， 30（2）：416-439. 10.13328/j.cnki.jos.005636
24 HONG L M Z， WANG R S， LEI T， et al. QAU-Net： quartet attention U-Net for liver and liver-tumor segmentation［C］// Proceedings of the 2021 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2021： 1-6. 10.1109/icme51207.2021.9428427
25 HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：7132-7141. 10.1109/cvpr.2018.00745
26 AHMED N， NATARAJAN T， RAO K R. Discrete cosine transform［J］. IEEE Transactions on Computers， 1974， C-23（1）： 90-93. 10.1109/t-c.1974.223784
27 GE Z， LIU S T， WANG F， et al. YOLOX： exceeding YOLO series in 2021［EB/OL］. （2021-08-06）［2021-08-25］.https：//arxiv.org/pdf/2107.08430.pdf.
28 SONG G L， LIU Y， WANG X G. Revisiting the sibling head in object detector［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11560-11569. 10.1109/cvpr42600.2020.01158
29 PARK J， WOO S， LEE J Y， et al. BAM： bottleneck attention module［C］// Proceedings of the 2018 British Machine Vision Conference. Durham： BMVA Press， 2018： No.92.
30 WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.
31 HUANG Z L， WANG X G， HUANG L C， et al. CCNet： criss-cross attention for semantic segmentation［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 603-612. 10.1109/iccv.2019.00069
32 HOU Q B， ZHOU D Q， FENG J S. Coordinate attention for efficient mobile network design［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 13708-13717. 10.1109/cvpr46437.2021.01350
33 WANG X L， GIRSHICK R， GUPTA A， et al. Non-local neural networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7794-7803. 10.1109/cvpr.2018.00813
34 FU J， LIU J， TIAN H J， et al. Dual attention network for scene segmentation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3141-3149. 10.1109/cvpr.2019.00326

[1]	段升位, 程欣宇, 王浩舟, 王飞. 基于改进的YOLOv5的大坝表面病害检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2619-2629.
[2]	吕宗喆, 徐慧, 杨骁, 王勇, 王唯鉴. 面向小目标的YOLOv5安全帽检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1943-1949.
[3]	王逸, 裴生雷, 王煜. 基于CSI和K-means-SVR的多指纹库室内定位方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1636-1640.
[4]	翟冉, 陈学斌, 张国鹏, 裴浪涛, 马征. 基于不同敏感度的改进K-匿名隐私保护算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1497-1503.
[5]	朱周华, 齐琦. 基于改进YOLOv5s电动车头盔的自动检测与识别[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1291-1296.
[6]	王梦亭, 杨文忠, 武雍智. 基于孪生网络的单目标跟踪算法综述[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 661-673.
[7]	李佳东, 张丹普, 范亚琼, 杨剑锋. 基于改进YOLOv5的轻量级船舶目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 923-929.
[8]	顾勇翔, 蓝鑫, 伏博毅, 秦小林. 基于几何适应与全局感知的遥感图像目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 916-922.
[9]	李文举, 张干, 崔柳, 储王慧. 基于坐标注意力的轻量级交通标志识别模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 608-614.
[10]	王谨东, 李强. 基于Raft算法改进的实用拜占庭容错共识算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 122-129.
[11]	刘小宇, 陈怀新, 刘壁源, 林英, 马腾. 自适应置信度阈值的非限制场景车牌检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 67-73.
[12]	尹靖涵, 瞿绍军, 姚泽楷, 胡玄烨, 秦晓雨, 华璞靖. 基于YOLOv5的雾霾天气下交通标志识别模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2876-2884.
[13]	刘亚姣, 于海涛, 王江, 于利峰, 张春晖. 基于深度学习的型钢表面多形态微小缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2601-2608.
[14]	章曼, 张正军, 冯俊淇, 严涛. 基于自适应可达距离的密度峰值聚类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1914-1921.
[15]	张锦, 屈佩琪, 孙程, 罗蒙. 基于改进YOLOv5的安全帽佩戴检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1292-1300.

融合频域注意力机制和解耦头的YOLOv5带钢表面缺陷检测

Strip steel surface defect detection by YOLOv5 algorithm fusing frequency domain attention mechanism and decoupled head

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics