面向牵引座焊缝表面质量检测的轻量型深度学习算法

doi:10.11772/j.issn.1001-9081.2023030349

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (3): 983-988.DOI: 10.11772/j.issn.1001-9081.2023030349

面向牵引座焊缝表面质量检测的轻量型深度学习算法

黄子杰¹, 欧阳², 江德港¹, 郭彩玲³(), 李柏林⁴

^1.西南交通大学唐山研究生院, 河北唐山 063000
^2.成都大学机械工程学院, 成都 610106
^3.河北省智能装备数字化设计及过程仿真重点实验室(唐山学院), 河北唐山 063000
^4.西南交通大学机械工程学院, 成都 610031

收稿日期:2023-03-31 修回日期:2023-06-02 接受日期:2023-06-05 发布日期:2023-06-28 出版日期:2024-03-10
通讯作者: 郭彩玲
作者简介:黄子杰（1995—），男，广西百色人，硕士研究生，CCF会员，主要研究方向：机器视觉
欧阳（1991—），男，四川渠县人，讲师，博士，主要研究方向：图像处理、模式识别
江德港（1999—），男，四川泸州人，硕士研究生，主要研究方向：机器视觉
李柏林（1962—），男，四川成都人，教授，博士，主要研究方向：机器视觉。
基金资助:
四川省重大科技专项(2022ZDZX0007)

Lightweight deep learning algorithm for weld seam surface quality detection of traction seat

Zijie HUANG¹, Yang OU², Degang JIANG¹, Cailing GUO³(), Bailin LI⁴

^1.Graduate School of Tangshan，Southwest Jiaotong University，Tangshan Hebei 063000，China
^2.School of Mechanical Engineering，Chengdu University，Chengdu Sichuan 610106，China
^3.Hebei Key Lab of Intelligent Equipment Digital Design and Process Simulation （Tangshan University），Tangshan Hebei 063000，China
^4.School of Mechanical Engineering，Southwest Jiaotong University，Chengdu Sichuan 610031，China

Received:2023-03-31 Revised:2023-06-02 Accepted:2023-06-05 Online:2023-06-28 Published:2024-03-10
Contact: Cailing GUO
About author:HUANG Zijie， born in 1995， M. S. candidate. His research interests include machine vision.
OU Yang， born in 1991， Ph. D.， lecturer. His research interests include image processing， pattern recognition.
JIANG Degang， born in 1999， M. S. candidate. His research interests include machine vision.
LI Bailin， born in 1962， Ph. D.， professor. His research interests include machine vision.
Supported by:
Science and Technology Major Project of Sichuan Province(2022ZDZX0007)

摘要/Abstract

摘要：

针对人工和传统自动化算法检测牵引座焊缝表面存在检测精度低、速度低的问题，提出一种轻量型的牵引座焊缝表面质量检测算法YOLOv5s-G2CW。首先，用GhostBottleneckV2模块替换YOLOv5s中的C3模块以降低模型的参数量；其次，在YOLOv5s模型的Neck部分引入CBAM（Convolutional Block Attention Module），在通道和空间两个维度上融合焊缝特征；然后将YOLOv5s的定位损失函数改进为Wise-IoU以聚焦普通质量锚框的预测回归；最后移除YOLOv5s模型中用于大物体检测的 $13 × 13$ 特征层以进一步降低模型的参数量。实验结果表明，与YOLOv5s模型相比，YOLOv5s-G2CW的模型大小减小了53.9%，帧率提高了8.0%，平均精度均值（mAP）提高了0.8个百分点，能够满足牵引座焊缝表面质量检测的准确性和实时性要求。

关键词: 轻量化模型, YOLOv5s, 焊缝检测, 注意力机制, Wise-IoU

Abstract:

In order to address the low accuracy and speed of detection by manual and traditional automation methods for the weld seam surface of traction seat， a lightweight weld seam quality detection algorithm YOLOv5s-G2CW was proposed for the weld seam surface of traction seat. Firstly， the GhostBottleneckV2 module was applied as a replacement for the C3 module in YOLOv5s to reduce the number of parameters used in the model. Then， the CBAM （Convolutional Block Attention Module） was introduced into the Neck of the YOLOv5s model for integration of the weld features in two dimensions： channel and space. Also， the positioning loss function of the YOLOv5s model was improved into Wise-IoU， focusing on the predictive regression of ordinary quality anchor frames. Finally， the $13 × 13$ feature layer used for the detection of large-sized objects in the YOLOv5s model was removed to further reduce the number of parameters used in the model. Experimental results show that， compared with the YOLOv5s model， the size of YOLOv5s-G2CW model reduces by 53.9%， the number of frames transmitted per second increases by 8.0%， and the mAP （mean Average Precision） value increases by 0.8 percentage points. It can be seen that the model is applicable to meet the requirements for real-time and accurate detection of the weld seam surface for traction seat.

Key words: lightweight model, YOLOv5s, weld seam detection, attention mechanism, Wise-IoU

中图分类号:

TP391.41

黄子杰, 欧阳, 江德港, 郭彩玲, 李柏林. 面向牵引座焊缝表面质量检测的轻量型深度学习算法[J]. 计算机应用, 2024, 44(3): 983-988.

Zijie HUANG, Yang OU, Degang JIANG, Cailing GUO, Bailin LI. Lightweight deep learning algorithm for weld seam surface quality detection of traction seat[J]. Journal of Computer Applications, 2024, 44(3): 983-988.

图/表 13

图1 YOLOv5s-G2CW框架

Fig. 1 Framework of YOLOv5s-G2CW

图2 GhostNetV2模块的结构

Fig. 2 Structure of GhostNetV2 module

图3 DFC attention模块的结构

Fig. 3 Structure of DFC attention module

图4 GhostBottleneckV2模块的结构

Fig. 4 Structure of GhostBottleneckV2 module

图5 CBAM结构

Fig. 5 Structure of CBAM

图6 成形焊缝数据标注

Fig. 6 Forming weld data annotation

图7 部分实验数据集样本

Fig. 7 Partial samples in experimental dataset

图8 数据增强效果示例

Fig. 8 Examples of data enhancement effect

表1 实验软硬件配置

Tab. 1 Experimental software and hardware configuration

名称	实验配置
编程语言	Python 3.9
深度学习框架	PyTorch 1.12.0
CPU	Intel Xeon W-2223CPU@3.60 GHz
内存	32 GB
GPU	NVIDIA Quadro P2200
CUDA	11.3
平台	Pycharm 2022.1

图9 mAP随训练次数变化曲线

Fig. 9 mAP variation curve with training times

图10 模型检测效果对比

Fig. 10 Comparison of model detection effects

表2 消融实验结果

Tab. 2 Ablation experiment results

模型	GhostNetV2	CBAM	WIoU	去除大目标层13×13	mAP/%	模型大小/MB	帧率/（frame·s^-1）
YOLOv5s	—	—	—	—	96.3	14.1	90.1
YOLOv5s-A	√	—	—	—	95.6	12.6	95.4
YOLOv5s-B	—	√	—	—	97.4	14.3	87.7
YOLOv5s-C	—	—	√	—	96.9	14.2	88.6
YOLOv5s-D	—	—	—	√	95.2	7.7	101.0
YOLOv5s-E	√	√	—	—	96.4	13.0	93.2
YOLOv5s-F	√	√	√	—	97.3	13.2	92.8
YOLOv5s-G2CW	√	√	√	√	97.1	6.5	97.3

表3 不同模型性能对比

Tab. 3 Performance comparison of different models

模型	模型大小/MB	mAP/%	帧率/（frame·s^-1）
Faster R-CNN	315.1	87.6	28.3
YOLOv4-tiny	22.4	92.4	61.2
YOLOX-s	34.3	93.1	73.5
YOLOv6s	36.3	96.7	91.6
YOLOv7	73.1	97.6	85.4
YOLOv5s	14.1	96.3	90.1
本文模型	6.5	97.1	97.3

参考文献 18

1	陶显，侯伟，徐德.基于深度学习的表面缺陷检测方法综述［J］.自动化学报，2021，47（5）：1017-1034.
	TAO X， HOU W， XU D. A survey of surface detect detection methods based on deep learning［J］. Acta Automatica Sinica， 2021， 47（5）： 1017-1034.
2	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）：1137-1149. 10.1109/tpami.2016.2577031
3	REDMON J， FARHADI A. YOLOv3： An incremental improvement ［EB/OL］. （2018-04-08）［2022-07-28］. . 10.1109/cvpr.2017.690
4	BOCHKOVSKIV A， WANG C-Y， LIAO H-Y M. YOLOv4： optimal speed and accuracy of object detection ［EB/OL］. （2020-04-23）［2022-08-03］. .
5	GE Z， LIU S， WANG F，et al. YOLOX： exceeding YOLO series in 2021 ［EB/OL］. （2021-08-06）［2022-08-17］. .
6	WANG C-Y， BOCHKOVSKIV A， LIAO H-Y M. YOLOv7： trainable bag-of-freebies sets new state-of-the-art for real-time object detectors ［EB/OL］. （2022-07-06）［2022-09-18］. . 10.1109/uv56588.2022.10185474
7	王海云，王剑平，罗付华.融合多层次特征Faster R-CNN的金属板带材表面缺陷检测研究［J］.机械科学与技术，2021，40（2）：262-269.
	WANG H Y， WANG J P， LUO F H. Study on surface defect detection of metal sheet and strip using Faster R-CNN with multilevel feature ［J］. Mechanical Science and Technology for Aerospace Engineering， 2021，40（2）：262-269.
8	程婧怡，段先华，朱伟.改进YOLOv3的金属表面缺陷检测研究［J］.计算机工程与应用，2021，57（19）：252-258. 10.3778/j.issn.1002-8331.2104-0324
	CHENG J Y， DUAN X H， ZHU W. Research on metal surface defect detection by improved YOLOv3 ［J］. Computer Engineering and Applications， 2021， 57（19）： 252-258. 10.3778/j.issn.1002-8331.2104-0324
9	李彬，汪诚，吴静，等.改进YOLOv4算法的航空发动机部件表面缺陷检测［J］.激光与光电子学进展，2021，58（14）： 1415004. 10.3788/lop202158.1415004
	LI B， WANG C， WU J， et al. Surface defect detection of aeroengine components based on improved YOLOv4 algorithm ［J］. Laser & Optoelectronics Progress， 2021， 58（14）： 1415004. 10.3788/lop202158.1415004
10	陈德富，闫坤，熊经先，等.基于改进YOLOv4的工件表面缺陷检测方法［J］.计算机应用，2022，42（S1）：94-99.
	CHEN D F， YAN K， XIONG J X， et al. Detection method of workpiece surface defects based on improved YOLOv4 ［J］. Journal of Computer Applications， 2022， 42（S1）： 94-99.
11	TANG Y， HAN K， GUO J， et al. GhostNetV2： enhance cheap operation with long-range attention ［EB/OL］. （2022-11-23）［2023-01-16］. .
12	WOO S， PARK J， LEE J-Y， et al. CBAM： convolutional block attention module ［C］// Proceedings of the 2018 European Conference on Computer Vision. Cham： Springer， 2018：3-19. 10.1007/978-3-030-01234-2_1
13	TONG Z， CHEN Y， XU Z， et al. Wise-IoU： bounding box regression loss with dynamic focusing mechanism ［EB/OL］. （2023-01-24）［2023-02-06］. .
14	HAN K， WANG Y， TIAN Q， et al. GhostNet： more features from cheap operations ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：1577-1586. 10.1109/cvpr42600.2020.00165
15	HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks ［EB/OL］. （2019-05-16）［2022-12-28］. . 10.1109/cvpr.2018.00745
16	WANG Q， WU B， ZHU P， et al. ECA-Net： efficient channel attention for deep convolutional neural networks ［EB/OL］. （2020-04-07）［2023-01-05］. . 10.1109/cvpr42600.2020.01155
17	李嘉新，侯进，盛博莹，等.基于改进YOLOv5的遥感小目标检测网络［J］.计算机工程， 2023， 49（9）： 256-264.
	LI J X， HOU J， SHEN B Y， et al. Remote sensing small object detection network based on improved YOLOv5 ［J］. Computer Engineering， 2023， 49（9）： 256-264.
18	程松，杨洪刚，徐学谦，等.基于YOLOv5的改进轻量型X射线铝合金焊缝缺陷检测算法［J］.中国激光，2022，49（21）：2104005. 10.3788/CJL202249.2104005
	CHENG S， YANG H G， XU X Q， et al. Improved lightweight X-ray aluminum alloy weld defects detection algorithm based on YOLOv5 ［J］. Chinese Journal of Lasers， 2022，49（21）：2104005. 10.3788/CJL202249.2104005

[1]	袁泉, 陈昌平, 陈泽, 詹林峰. 基于BERT的两次注意力机制远程监督关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1080-1085.
[2]	尤昕源, 王恒. 基于门控膨胀卷积循环网络的单声道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1317-1324.
[3]	黄荣, 宋俊杰, 周树波, 刘浩. 基于自监督视觉Transformer的图像美学质量评价方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1269-1276.
[4]	陈天华, 朱家煊, 印杰. 基于注意力机制的鸟类识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1114-1120.
[5]	许立君, 黎辉, 刘祖阳, 陈侃松, 马为駽. 基于3D‑Ghost卷积神经网络的脑胶质瘤MRI图像分割算法3D‑GA‑Unet[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1294-1302.
[6]	肖斌, 甘昀, 汪敏, 张兴鹏, 王照星. 基于端口注意力与通道空间注意力的网络异常流量检测[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1027-1034.
[7]	杨先凤, 汤依磊, 李自强. 基于交替注意力机制和图卷积网络的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1058-1064.
[8]	王海涵, 朱焱. 融合反讽机制的攻击性言论检测[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1065-1071.
[9]	郭洁, 林佳瑜, 梁祖红, 罗孝波, 孙海涛. 基于知识感知和跨层次对比学习的推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1121-1127.
[10]	张鹏飞, 韩李涛, 冯恒健, 李洪梅. 基于注意力机制和全局特征优化的点云语义分割[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1086-1092.
[11]	孙滔, 段张甜, 朱浩楠, 郭沛豪, 孙鹤立. 基于新奇度量的社交事件推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 760-766.
[12]	江锐, 刘威, 陈成, 卢涛. 非对称端到端的无监督图像去雨网络[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 922-930.
[13]	董永峰, 白佳明, 王利琴, 王旭. 融合先验知识和字形特征的中文命名实体识别[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 702-708.
[14]	郑宇亮, 陈云华, 白伟杰, 陈平华. 融合事件数据和图像帧的车辆目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 931-937.
[15]	赵奎, 仇慧琪, 李旭, 徐知非. 结合注意力和多路径融合的实时肺结节检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 945-952.

面向牵引座焊缝表面质量检测的轻量型深度学习算法

Lightweight deep learning algorithm for weld seam surface quality detection of traction seat

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 18

相关文章 15

编辑推荐

Metrics