基于深度学习的型钢表面多形态微小缺陷检测算法

doi:10.11772/j.issn.1001-9081.2021060971

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (8): 2601-2608.DOI: 10.11772/j.issn.1001-9081.2021060971

• 多媒体计算与计算机仿真 • 上一篇

基于深度学习的型钢表面多形态微小缺陷检测算法

刘亚姣¹, 于海涛¹(), 王江¹, 于利峰², 张春晖²

^1.天津大学电气自动化与信息工程学院，天津 300072
^2.河北津西钢铁集团股份有限公司，河北唐山 064302

收稿日期:2021-06-08 修回日期:2021-09-08 接受日期:2021-09-28 发布日期:2021-10-18 出版日期:2022-08-10
通讯作者: 于海涛
作者简介:刘亚姣（1992—），女，河北张家口人，博士研究生，主要研究方向：缺陷检测；
于海涛（1985—），男，河北唐山人，副教授，博士生导师，博士，主要研究方向：视觉检测、深度学习；
王江（1964—），男，河北唐山人，教授，博士生导师，博士，主要研究方向：类脑计算、智能控制；
于利峰（1976—），男，河北唐山人，工程师，主要研究方向：型钢质量检测；
张春晖（1978—），男，河北唐山人，工程师，主要研究方向：钢铁冶金。
基金资助:
天津市自然科学基金资助项目(19JCYBJC18800)

Surface detection algorithm of multi-shape small defects for section steel based on deep learning

Yajiao LIU¹, Haitao YU¹(), Jiang WANG¹, Lifeng YU², Chunhui ZHANG²

^1.School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China
^2.Hebei Jinxi Iron and Steel Group Company Limited，Tangshan Hebei 064302，China

Received:2021-06-08 Revised:2021-09-08 Accepted:2021-09-28 Online:2021-10-18 Published:2022-08-10
Contact: Haitao YU
About author:LIU Yajiao， born in 1992， Ph. D. candidate. Her research interests include defect detection.
YU Haitao， born in 1985， Ph. D.， associate professor. His research interests include visual inspection， deep learning.
WANG Jiang， born in 1964， Ph. D.， professor. His research interests include brain-like computing， intellectual control.
YU Lifeng， born in 1976， engineer. His research interests include quality inspection of section steel.
ZHANG Chunhui， born in 1978， engineer. His research interests include ferrous metallurgy.
Supported by:
Tianjin Natural Science Foundation(19JCYBJC18800)

摘要/Abstract

摘要：

为了解决由于型钢表面缺陷形态多样、微小缺陷众多所带来的检测效率低与检测精度差的问题，提出一种基于可变形卷积与多尺度-密集特征金字塔的型钢表面缺陷检测算法——Steel-YOLOv3。首先，使用可变形卷积代替Darknet53网络部分残差单元的卷积层，从而强化特征提取网络对型钢表面多类型缺陷的特征学习能力；其次，设计了多尺度-密集特征金字塔模块：在原有YOLOv3算法的3层预测尺度上增加1层更浅层的预测尺度，再对多尺度特征图进行跨层密集连接，从而增强对密集微小缺陷的表征能力；最后，针对型钢缺陷尺寸分布特点，使用K-means维度聚类方法优化先验框尺寸并将先验框平均分配到4个对应预测尺度上。实验结果表明：Steel-YOLOv3算法具有89.24%的检测平均精度均值（mAP），与Faster R-CNN（Faster Region-based Convolutional Neural Network）、SSD（Single Shot MultiBox Detector）、YOLOv3和YOLOv5算法相比分别提高了3.51%、26.46%、12.63%和5.71%，且所提算法显著提升了微小剥落缺陷的检出率。另外，所提算法的每秒检测图像数量达到25.62张，满足实时检测的要求，可实际应用于型钢表面缺陷的在线检测。

关键词: 型钢, 表面缺陷检测, 多形态微小缺陷, 深度学习, YOLOv3

Abstract:

In order to solve the problems of low detection efficiency and poor detection precision caused by various surface defects and numerous small defects of section steel， a detection algorithm for surface defects of section steel， namely Steel-YOLOv3， was proposed on the basis of the deformable convolution and multi-scale dense feature pyramid. Firstly， the deformable convolution was used to replace the convolutional layers of part of the residual units in Darknet53 network， which strengthened the feature learning ability of feature extraction network for multi-type defects on the surface of section steel. Secondly， a multi-scale dense feature pyramid module was designed， which means that a shallower prediction scale was added to the 3 prediction scales of the original YOLOv3 algorithm and the multi-scale feature maps were connected across layers， thereby enhancing the ability to characterize dense small defects. Finally， according to the defect size distribution characteristics of section steel， the K-means dimension clustering method was used to optimize the scales of anchor boxes， and the anchor boxes were evenly distributed to 4 corresponding prediction scales. Experimental results show that Steel-YOLOv3 algorithm has a detection mean Average Precision （mAP） of 89.24%， which is improved by 3.51%， 26.46%， 12.63% and 5.71% compared with those of Faster Region-based Convolutional Neural Network （Faster R-CNN）， Single Shot multibox Detector （SSD）， YOLOv3 and YOLOv5 algorithms respectively. And the detection rate of tiny spalling defects is significantly improved by the proposed algorithm. Moreover， the proposed algorithm can detect 25.62 images per second， which means the requirement of real-time detection can be met and the algorithm can be applied to the online detection for the surface defects of section steel.

Key words: section steel, surface defect detection, multi-shape small defect, deep learning, You Only Look Once v3 (YOLOv3)

中图分类号:

TP391.4

刘亚姣, 于海涛, 王江, 于利峰, 张春晖. 基于深度学习的型钢表面多形态微小缺陷检测算法[J]. 计算机应用, 2022, 42(8): 2601-2608.

Yajiao LIU, Haitao YU, Jiang WANG, Lifeng YU, Chunhui ZHANG. Surface detection algorithm of multi-shape small defects for section steel based on deep learning[J]. Journal of Computer Applications, 2022, 42(8): 2601-2608.

图/表 11

图1 Steel-YOLOv3检测算法的整体框架

Fig. 1 Overall framework of Steel-YOLOV3 detection algorithm

图2 可变形卷积实现流程

Fig. 2 Deformable convolution implementation process

图3 M-DFPN网络框架

Fig. 3 Framework diagram of M-DFPN

图4 密集特征金字塔

Fig. 4 Dense feature pyramid

图5 聚类数与平均交并比的关系

Fig. 5 Relation between number of clusters and average intersection ratio union

图6 型钢表面缺陷类型

Fig. 6 Types of surface defects of section steel

图7 训练损失曲线

Fig. 7 Training loss curve

表1 Steel-YOLOv3检测算法的消融实验结果

Tab. 1 T Ablation experimental results of Steel-YOLOv3 detection algorithm

检测算法	DCN	M-DFPN	先验框优化	AP%				mAP%
检测算法	DCN	M-DFPN	先验框优化	结疤	剥落	划伤	击伤	mAP%
YOLOv3				82.35	73.58	79.73	81.25	79.23
算法1	√			87.21	77.59	82.46	86.84	83.53
算法2		√	√	88.87	87.67	85.32	86.43	87.07
Steel-YOLOv3	√	√	√	90.32	88.74	88.53	89.38	89.24

表2 不同检测算法性能比较结果

Tab. 2 Performance comparison results of different detection algorithms

检测算法	AP%				mAP%	平均单张图像检测时间/ms	帧率/（frame·s^-1）
检测算法	结疤	剥落	划伤	击伤	mAP%	平均单张图像检测时间/ms	帧率/（frame·s^-1）
Faster R-CNN600	87.44	84.16	86.29	86.96	86.21	123.15	8.12
SSD512	79.52	51.25	74.92	76.58	70.57	36.71	27.24
YOLOv5l	86.18	83.54	84.69	83.27	84.42	33.49	29.86
Steel-YOLOv3	90.32	88.74	88.53	89.38	89.24	39.03	25.62

图8 不同检测算法的缺陷检测效果

Fig. 8 Defect detection results of different detection algorithms

表3 基于Steel-YOLOv3的型钢表面缺陷现场检测结果

Tab. 3 Field detection results of section steel surface defects based on Steel-YOLOv3

缺陷类型	实际缺陷数	未检出数	检出数				AP%
缺陷类型	实际缺陷数	未检出数	结疤	剥落	划伤	击伤	AP%
结疤	42	2	39	0	0	1	92.85
剥落	51	4	1	46	0	0	90.20
划伤	36	2	1	0	33	0	91.67
击伤	31	1	0	0	1	29	93.55

参考文献 17

1	邸全康，孙齐松，程四华，等. H型钢质量缺陷成因分析及控制策略［J］.连铸， 2012（1）： 33-38.
	DI Q K， SUN Q S， CHENG S H， et al. Quality defect analysis and controlled strategies of H beam［J］. Continuous Casting， 2012（1）： 33-38.
2	YANG G Y， ZHU L G， CHEN W， et al. Initiation of surface cracks on beam blank in the mold during continuous casting［J］. Metals， 2018， 8（9）： No.712. 10.3390/met8090712
3	李少波，杨静，王铮，等.缺陷检测技术的发展与应用研究综述［J］.自动化学报， 2020， 46（11）： 2319-2336.
	LI S B， YANG J， WANG Z， et al. Review of development and application of defect detection technology［J］. Acta Automatica Sinica， 2020， 46（11）： 2319-2336.
4	陶显，侯伟，徐德.基于深度学习的表面缺陷检测方法综述［J］.自动化学报， 2021， 47（5）： 1017-1034.
	TAO X， HOU W， XU D. A survey of surface defect detection methods based on deep learning［J］. Acta Automatica Sinica， 2021， 47（5）： 1017-1034.
5	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 91-99.
6	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788. 10.1109/cvpr.2016.91
7	DU Y C， PAN N， XU Z H， et al. Pavement distress detection and classification based on YOLO network［J］. International Journal of Pavement Engineering， 2021， 22（13）： 1659-1672. 10.1080/10298436.2020.1714047
8	REDMON J， FARHADI A. YOLOv3： an incremental improvement ［EB/OL］. （2018-04-08）［2021-06-04］. .
9	SONG Y N， ZHANG H， LIU L， et al. Rail surface defect detection method based on YOLOv3 deep learning networks ［C］// Proceedings of the 2018 Chinese Automation Congress. Piscataway： IEEE， 2018： 1563-1568. 10.1109/cac.2018.8623082
10	袁野，谭晓阳.复杂环境下的冰箱金属表面缺陷检测［J］.计算机应用， 2021， 41（1）： 270-274.
	YUAN Y， TAN X Y. Defect detection of refrigerator metal surface in complex environment［J］. Journal of Computer Applications， 2021， 41（1）： 270-274.
11	YIN Y H， LI H F， FU W. Faster-YOLO： an accurate and faster object detection method［J］. Digital Signal Processing， 2020， 102： No.102756. 10.1016/j.dsp.2020.102756
12	LIU M J， WANG X H， ZHOU A J， et al. UAV-YOLO： small object detection on unmanned aerial vehicle perspective［J］. Sensors， 2020， 20（8）： No.2238. 10.3390/s20082238
13	DENG Z R， YANG R， LAN R S， et al. SE-IYOLOV3： an accurate small scale face detector for outdoor security［J］. Mathematics， 2020， 8（1）： No.93. 10.3390/math8010093
14	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
15	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944. 10.1109/cvpr.2017.106
16	DAI J F， QI H Z， XIONG Y W， et al. Deformable convolutional networks ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 764-773. 10.1109/iccv.2017.89
17	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 21-37.

[1]	张显杰, 张之明. 基于卷积神经网络和Transformer的手写体英文文本识别[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2394-2400.
[2]	程南江, 余贞侠, 陈琳, 乔贺辙. 基于领域自适应的多源多标签行人属性识别[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2401-2406.
[3]	张丽莹, 庞春江, 王新颖, 李国亮. 基于改进YOLOv3的多尺度目标检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2423-2431.
[4]	王一宁, 赵青杉, 秦品乐, 胡玉兰, 宗春梅. 基于轻量密集神经网络的医学图像超分辨率重建算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2586-2592.
[5]	韩亚茹, 闫连山, 姚涛. 基于元学习的深度哈希检索算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2015-2021.
[6]	董宁, 程晓荣, 张铭泉. 基于物联网平台的动态权重损失函数入侵检测系统[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2118-2124.
[7]	张达为, 刘绪崇, 周维, 陈柱辉, 余瑶. 基于改进YOLOv3的实时交通标志检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2219-2226.
[8]	刘万军, 王佳铭, 曲海成, 董利兵, 曹欣宇. 基于频谱空间域特征注意的音乐流派分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2072-2077.
[9]	秦庭威, 赵鹏程, 秦品乐, 曾建朝, 柴锐, 黄永琦. 基于残差注意力机制的点云配准算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2184-2191.
[10]	王震宇, 张雷, 高文彬, 权威铭. 基于渐进式神经网络架构搜索的人体运动识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2058-2064.
[11]	韩玉民, 郝晓燕. 基于子词嵌入和相对注意力的材料实体识别[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1862-1868.
[12]	于蒙, 何文涛, 周绪川, 崔梦天, 吴克奇, 周文杰. 推荐系统综述[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1898-1913.
[13]	李佳, 郑元林, 廖开阳, 楼豪杰, 李世宇, 陈泽豪. 基于显著性深层特征的无参考图像质量评价算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1957-1964.
[14]	杨治佩, 丁胜, 张莉, 张新宇. 无锚点的遥感图像任意角度密集目标检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1965-1971.
[15]	边小勇, 费雄君, 陈春芳, 阚东东, 丁胜. 联合一二阶池化网络学习的遥感场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1972-1978.

基于深度学习的型钢表面多形态微小缺陷检测算法

Surface detection algorithm of multi-shape small defects for section steel based on deep learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 17

相关文章 15

编辑推荐

Metrics