面向牵引座焊缝表面质量检测的轻量型深度学习算法

doi:10.11772/j.issn.1001-9081.2023030349

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (3): 983-988.DOI: 10.11772/j.issn.1001-9081.2023030349

所属专题：前沿与综合应用

面向牵引座焊缝表面质量检测的轻量型深度学习算法

黄子杰¹, 欧阳², 江德港¹, 郭彩玲³(), 李柏林⁴

^1.西南交通大学唐山研究生院, 河北唐山 063000
^2.成都大学机械工程学院, 成都 610106
^3.河北省智能装备数字化设计及过程仿真重点实验室(唐山学院), 河北唐山 063000
^4.西南交通大学机械工程学院, 成都 610031

收稿日期:2023-03-31 修回日期:2023-06-02 接受日期:2023-06-05 发布日期:2023-06-28 出版日期:2024-03-10
通讯作者: 郭彩玲
作者简介:黄子杰（1995—），男，广西百色人，硕士研究生，CCF会员，主要研究方向：机器视觉
欧阳（1991—），男，四川渠县人，讲师，博士，主要研究方向：图像处理、模式识别
江德港（1999—），男，四川泸州人，硕士研究生，主要研究方向：机器视觉
李柏林（1962—），男，四川成都人，教授，博士，主要研究方向：机器视觉。
基金资助:
四川省重大科技专项(2022ZDZX0007)

Lightweight deep learning algorithm for weld seam surface quality detection of traction seat

Zijie HUANG¹, Yang OU², Degang JIANG¹, Cailing GUO³(), Bailin LI⁴

^1.Graduate School of Tangshan，Southwest Jiaotong University，Tangshan Hebei 063000，China
^2.School of Mechanical Engineering，Chengdu University，Chengdu Sichuan 610106，China
^3.Hebei Key Lab of Intelligent Equipment Digital Design and Process Simulation （Tangshan University），Tangshan Hebei 063000，China
^4.School of Mechanical Engineering，Southwest Jiaotong University，Chengdu Sichuan 610031，China

Received:2023-03-31 Revised:2023-06-02 Accepted:2023-06-05 Online:2023-06-28 Published:2024-03-10
Contact: Cailing GUO
About author:HUANG Zijie， born in 1995， M. S. candidate. His research interests include machine vision.
OU Yang， born in 1991， Ph. D.， lecturer. His research interests include image processing， pattern recognition.
JIANG Degang， born in 1999， M. S. candidate. His research interests include machine vision.
LI Bailin， born in 1962， Ph. D.， professor. His research interests include machine vision.
Supported by:
Science and Technology Major Project of Sichuan Province(2022ZDZX0007)

摘要/Abstract

摘要：

针对人工和传统自动化算法检测牵引座焊缝表面存在检测精度低、速度低的问题，提出一种轻量型的牵引座焊缝表面质量检测算法YOLOv5s-G2CW。首先，用GhostBottleneckV2模块替换YOLOv5s中的C3模块以降低模型的参数量；其次，在YOLOv5s模型的Neck部分引入CBAM（Convolutional Block Attention Module），在通道和空间两个维度上融合焊缝特征；然后将YOLOv5s的定位损失函数改进为Wise-IoU以聚焦普通质量锚框的预测回归；最后移除YOLOv5s模型中用于大物体检测的 $13 × 13$ 特征层以进一步降低模型的参数量。实验结果表明，与YOLOv5s模型相比，YOLOv5s-G2CW的模型大小减小了53.9%，帧率提高了8.0%，平均精度均值（mAP）提高了0.8个百分点，能够满足牵引座焊缝表面质量检测的准确性和实时性要求。

关键词: 轻量化模型, YOLOv5s, 焊缝检测, 注意力机制, Wise-IoU

Abstract:

In order to address the low accuracy and speed of detection by manual and traditional automation methods for the weld seam surface of traction seat， a lightweight weld seam quality detection algorithm YOLOv5s-G2CW was proposed for the weld seam surface of traction seat. Firstly， the GhostBottleneckV2 module was applied as a replacement for the C3 module in YOLOv5s to reduce the number of parameters used in the model. Then， the CBAM （Convolutional Block Attention Module） was introduced into the Neck of the YOLOv5s model for integration of the weld features in two dimensions： channel and space. Also， the positioning loss function of the YOLOv5s model was improved into Wise-IoU， focusing on the predictive regression of ordinary quality anchor frames. Finally， the $13 × 13$ feature layer used for the detection of large-sized objects in the YOLOv5s model was removed to further reduce the number of parameters used in the model. Experimental results show that， compared with the YOLOv5s model， the size of YOLOv5s-G2CW model reduces by 53.9%， the number of frames transmitted per second increases by 8.0%， and the mAP （mean Average Precision） value increases by 0.8 percentage points. It can be seen that the model is applicable to meet the requirements for real-time and accurate detection of the weld seam surface for traction seat.

Key words: lightweight model, YOLOv5s, weld seam detection, attention mechanism, Wise-IoU

中图分类号:

TP391.41

黄子杰, 欧阳, 江德港, 郭彩玲, 李柏林. 面向牵引座焊缝表面质量检测的轻量型深度学习算法[J]. 计算机应用, 2024, 44(3): 983-988.

Zijie HUANG, Yang OU, Degang JIANG, Cailing GUO, Bailin LI. Lightweight deep learning algorithm for weld seam surface quality detection of traction seat[J]. Journal of Computer Applications, 2024, 44(3): 983-988.

图/表 13

图1 YOLOv5s-G2CW框架

Fig. 1 Framework of YOLOv5s-G2CW

图2 GhostNetV2模块的结构

Fig. 2 Structure of GhostNetV2 module

图3 DFC attention模块的结构

Fig. 3 Structure of DFC attention module

图4 GhostBottleneckV2模块的结构

Fig. 4 Structure of GhostBottleneckV2 module

图5 CBAM结构

Fig. 5 Structure of CBAM

图6 成形焊缝数据标注

Fig. 6 Forming weld data annotation

图7 部分实验数据集样本

Fig. 7 Partial samples in experimental dataset

图8 数据增强效果示例

Fig. 8 Examples of data enhancement effect

表1 实验软硬件配置

Tab. 1 Experimental software and hardware configuration

名称	实验配置
编程语言	Python 3.9
深度学习框架	PyTorch 1.12.0
CPU	Intel Xeon W-2223CPU@3.60 GHz
内存	32 GB
GPU	NVIDIA Quadro P2200
CUDA	11.3
平台	Pycharm 2022.1

图9 mAP随训练次数变化曲线

Fig. 9 mAP variation curve with training times

图10 模型检测效果对比

Fig. 10 Comparison of model detection effects

表2 消融实验结果

Tab. 2 Ablation experiment results

模型	GhostNetV2	CBAM	WIoU	去除大目标层13×13	mAP/%	模型大小/MB	帧率/（frame·s^-1）
YOLOv5s	—	—	—	—	96.3	14.1	90.1
YOLOv5s-A	√	—	—	—	95.6	12.6	95.4
YOLOv5s-B	—	√	—	—	97.4	14.3	87.7
YOLOv5s-C	—	—	√	—	96.9	14.2	88.6
YOLOv5s-D	—	—	—	√	95.2	7.7	101.0
YOLOv5s-E	√	√	—	—	96.4	13.0	93.2
YOLOv5s-F	√	√	√	—	97.3	13.2	92.8
YOLOv5s-G2CW	√	√	√	√	97.1	6.5	97.3

表3 不同模型性能对比

Tab. 3 Performance comparison of different models

模型	模型大小/MB	mAP/%	帧率/（frame·s^-1）
Faster R-CNN	315.1	87.6	28.3
YOLOv4-tiny	22.4	92.4	61.2
YOLOX-s	34.3	93.1	73.5
YOLOv6s	36.3	96.7	91.6
YOLOv7	73.1	97.6	85.4
YOLOv5s	14.1	96.3	90.1
本文模型	6.5	97.1	97.3

参考文献 18

1	陶显，侯伟，徐德.基于深度学习的表面缺陷检测方法综述［J］.自动化学报，2021，47（5）：1017-1034.
	TAO X， HOU W， XU D. A survey of surface detect detection methods based on deep learning［J］. Acta Automatica Sinica， 2021， 47（5）： 1017-1034.
2	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）：1137-1149. 10.1109/tpami.2016.2577031
3	REDMON J， FARHADI A. YOLOv3： An incremental improvement ［EB/OL］. （2018-04-08）［2022-07-28］. . 10.1109/cvpr.2017.690
4	BOCHKOVSKIV A， WANG C-Y， LIAO H-Y M. YOLOv4： optimal speed and accuracy of object detection ［EB/OL］. （2020-04-23）［2022-08-03］. .
5	GE Z， LIU S， WANG F，et al. YOLOX： exceeding YOLO series in 2021 ［EB/OL］. （2021-08-06）［2022-08-17］. .
6	WANG C-Y， BOCHKOVSKIV A， LIAO H-Y M. YOLOv7： trainable bag-of-freebies sets new state-of-the-art for real-time object detectors ［EB/OL］. （2022-07-06）［2022-09-18］. . 10.1109/uv56588.2022.10185474
7	王海云，王剑平，罗付华.融合多层次特征Faster R-CNN的金属板带材表面缺陷检测研究［J］.机械科学与技术，2021，40（2）：262-269.
	WANG H Y， WANG J P， LUO F H. Study on surface defect detection of metal sheet and strip using Faster R-CNN with multilevel feature ［J］. Mechanical Science and Technology for Aerospace Engineering， 2021，40（2）：262-269.
8	程婧怡，段先华，朱伟.改进YOLOv3的金属表面缺陷检测研究［J］.计算机工程与应用，2021，57（19）：252-258. 10.3778/j.issn.1002-8331.2104-0324
	CHENG J Y， DUAN X H， ZHU W. Research on metal surface defect detection by improved YOLOv3 ［J］. Computer Engineering and Applications， 2021， 57（19）： 252-258. 10.3778/j.issn.1002-8331.2104-0324
9	李彬，汪诚，吴静，等.改进YOLOv4算法的航空发动机部件表面缺陷检测［J］.激光与光电子学进展，2021，58（14）： 1415004. 10.3788/lop202158.1415004
	LI B， WANG C， WU J， et al. Surface defect detection of aeroengine components based on improved YOLOv4 algorithm ［J］. Laser & Optoelectronics Progress， 2021， 58（14）： 1415004. 10.3788/lop202158.1415004
10	陈德富，闫坤，熊经先，等.基于改进YOLOv4的工件表面缺陷检测方法［J］.计算机应用，2022，42（S1）：94-99.
	CHEN D F， YAN K， XIONG J X， et al. Detection method of workpiece surface defects based on improved YOLOv4 ［J］. Journal of Computer Applications， 2022， 42（S1）： 94-99.
11	TANG Y， HAN K， GUO J， et al. GhostNetV2： enhance cheap operation with long-range attention ［EB/OL］. （2022-11-23）［2023-01-16］. .
12	WOO S， PARK J， LEE J-Y， et al. CBAM： convolutional block attention module ［C］// Proceedings of the 2018 European Conference on Computer Vision. Cham： Springer， 2018：3-19. 10.1007/978-3-030-01234-2_1
13	TONG Z， CHEN Y， XU Z， et al. Wise-IoU： bounding box regression loss with dynamic focusing mechanism ［EB/OL］. （2023-01-24）［2023-02-06］. .
14	HAN K， WANG Y， TIAN Q， et al. GhostNet： more features from cheap operations ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：1577-1586. 10.1109/cvpr42600.2020.00165
15	HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks ［EB/OL］. （2019-05-16）［2022-12-28］. . 10.1109/cvpr.2018.00745
16	WANG Q， WU B， ZHU P， et al. ECA-Net： efficient channel attention for deep convolutional neural networks ［EB/OL］. （2020-04-07）［2023-01-05］. . 10.1109/cvpr42600.2020.01155
17	李嘉新，侯进，盛博莹，等.基于改进YOLOv5的遥感小目标检测网络［J］.计算机工程， 2023， 49（9）： 256-264.
	LI J X， HOU J， SHEN B Y， et al. Remote sensing small object detection network based on improved YOLOv5 ［J］. Computer Engineering， 2023， 49（9）： 256-264.
18	程松，杨洪刚，徐学谦，等.基于YOLOv5的改进轻量型X射线铝合金焊缝缺陷检测算法［J］.中国激光，2022，49（21）：2104005. 10.3788/CJL202249.2104005
	CHENG S， YANG H G， XU X Q， et al. Improved lightweight X-ray aluminum alloy weld defects detection algorithm based on YOLOv5 ［J］. Chinese Journal of Lasers， 2022，49（21）：2104005. 10.3788/CJL202249.2104005

[1]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[4]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[5]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[6]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[7]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[8]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[9]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.
[10]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[11]	毛典辉, 李学博, 刘峻岭, 张登辉, 颜文婧. 基于并行异构图和序列注意力机制的中文实体关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2018-2025.
[12]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[13]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[14]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[15]	魏文亮, 王阳萍, 岳彪, 王安政, 张哲. 基于光照权重分配和注意力的红外与可见光图像融合深度学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2183-2191.

面向牵引座焊缝表面质量检测的轻量型深度学习算法

Lightweight deep learning algorithm for weld seam surface quality detection of traction seat

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 18

相关文章 15

编辑推荐

Metrics