基于级联神经网络的型钢表面缺陷检测算法

doi:10.11772/j.issn.1001-9081.2021111940

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (1): 232-241.DOI: 10.11772/j.issn.1001-9081.2021111940

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于级联神经网络的型钢表面缺陷检测算法

于海涛¹, 李健升¹, 刘亚姣¹, 李福龙¹, 王江¹, 张春晖², 于利峰²

1.天津大学电气自动化与信息工程学院，天津 300072
2.河北津西钢铁集团股份有限公司，河北唐山 064302

收稿日期:2021-11-14 修回日期:2022-04-20 发布日期:2023-01-12
通讯作者: 于海涛（1985—），男，河北唐山人，副教授，博士生导师，博士，主要研究方向：视觉检测、深度学习htyu@tju.edu.cn
作者简介:李健升（1998—），男，山西大同人，硕士研究生，主要研究方向：视觉检测、深度学习；刘亚姣（1992—），女，河北张家口人，博士研究生，主要研究方向：缺陷检测；李福龙（1997—），男，河南周口人，硕士研究生，主要研究方向：深度学习、图像处理；王江（1964—），男，河北唐山人，教授，博士生导师，博士，主要研究方向：类脑计算、智能控制；张春晖（1978—），男，河北唐山人，工程师，主要研究方向：钢铁冶炼；于利峰（1976—），男，河北唐山人，工程师，硕士，主要研究方向：钢铁冶炼；
基金资助:
天津市自然科学基金资助项目（19JCYBJC18800）。

Section steel surface defect detection algorithm based on cascade neural network

YU Haitao¹, LI Jiansheng¹, LIU Yajiao¹, LI Fulong¹, WANG Jiang¹, ZHANG Chunhui², YU Lifeng²

1.School of Electrical and Information Engineering， Tianjin University， Tianjin 300072， China
2.Hebei Jinxi Iron and Steel Group Company Limited， Tangshan Hebei 064302， China

Received:2021-11-14 Revised:2022-04-20 Online:2023-01-12
Contact: YU Haitao， born in 1985， Ph. D.， associate professor. His research interests include visual inspection， deep learning.
About author:LI Jiansheng， born in 1998， M. S. candidate. His research interests include visual inspection， deep learning；LIU Yajiao， born in 1992， Ph. D. candidate. Her research interests include defect detection；LI Fulong， born in 1997， M. S. candidate. His research interests include deep learning， image processing；WANG Jiang， born in 1964， Ph. D.， professor. His research interests include brain-inspired computing， intellectual control；ZHANG Chunhui， born in 1978， engineer. His research interests include iron and steel smelting；YU Lifeng， born in 1976， M. S.， engineer. His research interests include iron and steel smelting；
Supported by:
This work is partially supported by Natural Science Foundation of Tianjin （19JCYBJC18800）.

摘要/Abstract

摘要： 深度学习在缺陷检测方面具有优越性能，然而在工业应用过程中由于缺陷概率低，无缺陷图像的检测过程占据了大部分计算时间，严重限制了整体上的有效检测速度。针对上述问题，提出一种基于级联网络的型钢表面缺陷检测算法SDNet。该算法分为两个阶段：预检阶段和精检阶段。预检阶段采用基于深度可分离卷积（DSC）以及多尺度并行卷积的轻量化ResNet预检网络，判断型钢表面图像是否存在缺陷；精检阶段以YOLOv3作为基准网络对图像中的缺陷进行准确分类与定位，并在主干特征提取网络以及预测分支中引入改进空洞空间金字塔池化（ASPP）模块以及对偶注意力模块，以提升网络的检测性能。实验结果表明，SDNet在1 024像素×1 024像素图像上的检测速度达到每秒120.63帧，准确率达到92.1%。与原YOLOv3算法相比，所提算法的检测速度是原YOLOv3算法的3.7倍，检测精度提高了10.4个百分点，可应用于型钢表面缺陷的快速检测。

关键词: 缺陷检测, 级联神经网络, ResNet, YOLOv3

Abstract: Deep learning has superior performance in defect detection， however， due to the low defect probability， the detection process of defect-free images occupies most of the calculation time， which seriously limits the overall effective detection speed. In order to solve the above problem， a section steel surface defect detection algorithm based on cascade network named SDNet （Select and Detect Network） was proposed. The proposed algorithm was divided into two stages： the pre-inspection stage and the precise detection stage. In the pre-inspection stage， the lightweight ResNet pre-inspection network based on Depthwise Separable Convolution （DSC） and multi-scale parallel convolution was used to determine whether there were defects in the surface image of the section steel. In the precise detection stage， the YOLOv3 was used as the baseline network to accurately classify and locate the defects in the image. In addition， the improved Atrous Spatial Pyramid Pooling （ASPP） module and dual attention module were introduced in the backbone feature extraction network and prediction branches to improve the network detection performance. Experimental results show that the detection speed and the accuracy of SDNet on 1 024 pixel×1 024 pixel images reach 120.63 frames per second and 92.1% respectively. Compared to the original YOLOv3 algorithm， the proposed algorithm has the detection speed of about 3.7 times and the detection precision improved by 10.4 percentage points. The proposed algorithm can be applied to the rapid detection of section steel surface defects.

Key words: defect detection, cascade neural network, ResNet, YOLOv3

中图分类号:

TP391.4

于海涛, 李健升, 刘亚姣, 李福龙, 王江, 张春晖, 于利峰. 基于级联神经网络的型钢表面缺陷检测算法[J]. 计算机应用, 2023, 43(1): 232-241.

YU Haitao, LI Jiansheng, LIU Yajiao, LI Fulong, WANG Jiang, ZHANG Chunhui, YU Lifeng. Section steel surface defect detection algorithm based on cascade neural network[J]. Journal of Computer Applications, 2023, 43(1): 232-241.

参考文献

1 邸全康，孙齐松，程四华，等. H型钢质量缺陷成因分析及控制策略［J］. 连铸， 2012， 31（1）： 33-38. DI Q K， SUN Q S， CHENG S H， et al. Quality defect analysis and controlled strategies of H beam［J］. Continuous Casting， 2012， 31（1）： 33-38.
2 YANG G Y， ZHU L G， CHEN W， et al. Initiation of surface cracks on beam blank in the mold during continuous casting［J］. Metals， 2018， 8（9）： No.712. 10.3390/met8090712
3 JIA H B， MURPHEY Y L， SHI J J， et al. An intelligent real-time vision system for surface defect detection［C］// Proceedings of the 17th International Conference on Pattern Recognition. Piscataway： IEEE， 2004： 239-242. 10.1109/icpr.2004.1334512
4 WEIMER D， SCHOLZ-REITER B， SHPITALNI M. Design of deep convolutional neural network architectures for automated feature extraction in industrial inspection ［J］. CIRP Annals， 2016， 65（1）： 417-420. 10.1016/j.cirp.2016.04.072
5 邓泽林，刘行，董云龙，等. 无纺布疵点实时检测技术与系统设计［J］. 自动化学报， 2021， 47（3）： 583-593. 10.16383/j.aas.c200446 DENG Z L， LIU X， DONG Y L， et al. Non-woven fabric real-time defects detection method and framework design［J］. Acta Automatica Sinica， 2021， 47（3）： 583-593. 10.16383/j.aas.c200446
6 CHEN J W， LIU Z G， WANG H R， et al. Automatic defect detection of fasteners on the catenary support device using deep convolutional neural network［J］. IEEE Transactions on Instrumentation and Measurement， 2018， 67（2）： 257-269. 10.1109/tim.2017.2775345
7 REN S Q， HE K M， GIRSHICH R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transaction on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. 10.1109/tpami.2016.2577031
8 REDMON J， DIVVALA S， GIRSHICH R， et al. You only look once： unified， real-time object detection［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788. 10.1109/cvpr.2016.91
9 REDMON J， FARHADI A. YOLO9000： better， faster， stronger［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6517-6525. 10.1109/cvpr.2017.690
10 REDMON J， FARHADI A. YOLOV3： an incremental improvement［EB/OL］. （2018-04-08）［2021-06-04］.https：//arxiv.org/pdf/1804.02767.pdf. 10.1109/cvpr.2017.690
11 YIN Y H， LI H F， FU W. Faster-YOLO： an accurate and faster object detection method［J］. Digital Signal Processing， 2020， 102： No.102756. 10.1016/j.dsp.2020.102756
12 HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
13 LeCUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition ［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324. 10.1109/5.726791
14 KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90. 10.1145/3065386
15 OQUAB M， BOTTOU L， LAPTEV I， et al. Is object localization for free？ - weakly-supervised learning with convolutional neural networks［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 685-694. 10.1109/cvpr.2015.7298668
16 ZHOU B L， KHOSLA A， LAPEDRIZA à， et al. Learning deep features for discriminative localization［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2921-2929. 10.1109/cvpr.2016.319
17 赵丽萍，袁霄，祝承，等. 面向图像分类的残差网络进展研究［J］. 计算机工程与应用， 2020， 56（20）：9-19. 10.3778/j.issn.1002-8331.2005-0219 ZHAO L P， YUAN X， ZHU C， et al. Research on residual networks for image classification ［J］. Computer Engineering and Applications， 2020， 56（20）：9-19. 10.3778/j.issn.1002-8331.2005-0219
18 CHOLLET F. Xception： deep learning with depthwise separable convolutions［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1800-1807. 10.1109/cvpr.2017.195
19 GUO Y H， LI Y D， WANG L Q， et al. Depthwise convolution is all you need for learning multiple visual domains［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 8368-8375. 10.1609/aaai.v33i01.33018368
20 王一婷，张柯，李捷，等. 同一场景下超大尺度差异物体的识别和定位方法［J］. 计算机应用， 2020， 40（12）：3520-3525. 10.11772/j.issn.1001-9081.2020040466 WANG Y T， ZHANG K， LI J， et al. Recognition and localization method of super-large-scale variance objects in the same scene［J］. Journal of Computer Applications， 2020， 40（12）：3520-3525. 10.11772/j.issn.1001-9081.2020040466
21 FU J， LIU J， TIAN H J， et al. Dual attention network for scene segmentation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3141-3149. 10.1109/cvpr.2019.00326
22 SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-09-01］.https：//arxiv.org/pdf/1409.1556.pdf.
23 HUANG G， LIU Z， MAATEN L van der， et al. Densely connected convolutional networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2261-2269. 10.1109/cvpr.2017.243
24 HOWARD A G， ZHU M L， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications［EB/OL］. （2017-04-17）［2021-10-11］.https：//arxiv.org/pdf/1704.04861.pdf. 10.48550/arXiv.1704.04861
25 LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multiBox detector［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 21-37.

[1]	贾清玉, 常亮, 杨先一, 强保华, 张世豪, 谢武, 杨明浩. 面向机械臂操作的视觉信息实时重建方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1255-1260.
[2]	陈海燕, 贾明明, 赵文力, 王婵飞. 基于嵌入式Jetson TX2的高原鼠兔目标检测[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 98-103.
[3]	李克文, 杨建涛, 黄宗超. 基于边界极限点特征的改进YOLOv3目标检测[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 81-87.
[4]	王佑芯, 陈斌. 基于深度对比网络的印刷缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 250-258.
[5]	孙泽强, 陈炳才, 崔晓博, 王磊, 陆雅诺. 融合频域注意力机制和解耦头的YOLOv5带钢表面缺陷检测[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 242-249.
[6]	李姚舜, 刘黎志. 嵌入注意力机制的轻量级钢筋检测网络[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2900-2908.
[7]	刘亚姣, 于海涛, 王江, 于利峰, 张春晖. 基于深度学习的型钢表面多形态微小缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2601-2608.
[8]	张丽莹, 庞春江, 王新颖, 李国亮. 基于改进YOLOv3的多尺度目标检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2423-2431.
[9]	张达为, 刘绪崇, 周维, 陈柱辉, 余瑶. 基于改进YOLOv3的实时交通标志检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2219-2226.
[10]	王品学, 张绍兵, 成苗, 何莲, 秦小山. 基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 638-645.
[11]	冯号, 黄朝兵, 文元桥. 基于改进YOLOv3的遥感图像小目标检测[J]. 《计算机应用》唯一官方网站, 2022, 42(12): 3723-3732.
[12]	程靖云, 王布宏, 罗鹏. 基于深度语义融合的代码缺陷静态检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3170-3176.
[13]	高钦泉, 黄炳城, 刘文哲, 童同. 基于改进CenterNet的竹条表面缺陷检测方法[J]. 计算机应用, 2021, 41(7): 1933-1938.
[14]	吴则举, 焦翠娟, 陈亮. 基于改进Faster R-CNN的轮胎缺陷检测方法[J]. 计算机应用, 2021, 41(7): 1939-1946.
[15]	史杨潇, 章军, 陈鹏, 王兵. 基于轻量级网络的钢铁表面缺陷分类[J]. 计算机应用, 2021, 41(6): 1836-1841.

基于级联神经网络的型钢表面缺陷检测算法

Section steel surface defect detection algorithm based on cascade neural network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics