基于RT-DETR的轴承表面微小缺陷检测算法

doi:10.11772/j.issn.1001-9081.2024050691

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (6): 1987-1997.DOI: 10.11772/j.issn.1001-9081.2024050691

• 多媒体计算与计算机仿真 • 上一篇

基于RT-DETR的轴承表面微小缺陷检测算法

周得辉¹, 赵军¹(), 程进峰²

^1.兰州交通大学机电工程学院，兰州 730070
^2.兰州瑞尔文轨道交通科技有限公司，兰州 730070

收稿日期:2024-05-28 修回日期:2024-08-15 接受日期:2024-08-20 发布日期:2024-09-04 出版日期:2025-06-10
通讯作者: 赵军
作者简介:周得辉（1999 —），男，甘肃兰州人，硕士研究生，CCF会员，主要研究方向：计算机视觉、深度学习
赵军（1975—），男，甘肃古浪人，教授，博士，主要研究方向：机器视觉、目标检测 zhaojun@mail.lzjtu.cn
程进峰（1980—），男，甘肃兰州人，高级工程师，硕士，主要研究方向：缺陷检测、机械无损探伤。
基金资助:
国家自然科学基金资助项目(51868037)

Tiny defect detection algorithm for bearing surface based on RT-DETR

Dehui ZHOU¹, Jun ZHAO¹(), Jinfeng CHENG²

^1.School of Mechatronic Engineering，Lanzhou Jiaotong University，Lanzhou Gansu 730070，China
^2.Lanzhou Ruierwen Rail Transit Technology Company Limited，Lanzhou Gansu 730070，China

Received:2024-05-28 Revised:2024-08-15 Accepted:2024-08-20 Online:2024-09-04 Published:2025-06-10
Contact: Jun ZHAO
About author:ZHOU Dehui， born in 1999， M. S. candidate. His research interests include computer vision， deep learning.
ZHAO Jun， born in 1975， Ph. D.， professor. His research interests include machine vision， object detection.
CHENG Jinfeng， born in 1980， M. S.， senior engineer. His research interests include defect detection， mechanical non-destructive testing.
Supported by:
National Natural Science Foundation of China(51868037)

摘要/Abstract

摘要：

轴承表面缺陷对机电设备的性能和稳定性有显著影响。针对当前轴承表面缺陷检测过程中存在的小目标识别精度不高、速度较慢的问题，提出一种基于RT-DETR（Real-Time DEtection TRansformer）的轴承表面微小缺陷检测算法——FECS-DETR（Faster Expand and Cross hierarchical-scaled feature Screening DETR）算法。首先，采用轻量级FasterNet-T1重构RT-DETR主干网络以降低计算开销；其次，设计内嵌注意力的扩张残差融合（AERF）模块用于提取深层特征，从而增强对小尺度抽象特征的描述能力；再次，通过引入级联分组注意力（CGA），进一步降低计算冗余，并提升模型的运行效率；继次，提出一种跨层级尺度的信息筛选特征金字塔网络（CIS-FPN），以解决特征融合过程中的信息丢失问题，并增强特征融合能力；最后，利用归一化Wasserstein距离（NWD）与改进Inner-MPDIoU联合的回归损失优化策略提高模型收敛速度和模型检测小尺度目标的准确性。实验结果表明，相较于原RT-DETR算法，FECS-DETR算法在轴承表面微小缺陷数据集上的平均精度均值（mAP）提升了2.5个百分点，计算量减少了28.8%，帧率提升了20.8%。可见，所提算法实现了准确率与实时性之间的平衡，能够满足工业环境下的轴承表面微小缺陷检测需求。

关键词: 轴承表面缺陷检测, 小目标, RT-DETR, 特征金字塔网络, 损失函数

Abstract:

Surface defects of bearing have a significant impact on performance and stability of electromechanical equipment. Aiming at the issues of low recognition accuracy of small targets and low detection speed in current surface defect detection process for bearings， a tiny defect detection algorithm of bearing surface based on RT-DETR （Real-Time DEtection TRansformer） — FECS-DETR （Faster Expand and Cross hierarchical-scaled feature Screening DETR） algorithm was proposed. Firstly， a lightweight FasterNet-T1 was employed to reconstruct the backbone network of RT-DETR for reducing computational overhead. Secondly， an Attention-embedded Expand Residual Fusion （AERF） module was designed for deep feature extraction， thereby enhancing the description capability of small-scale abstract features. Thirdly， a Cascaded Group Attention （CGA） was applied to further reduce computational redundancy and improve operational efficiency of the model. Fourthly， a Cross hierarchical-scaled Information Screening Feature Pyramid Network （CIS-FPN） was proposed to address the issue of information loss during feature fusion and enhance feature integration capability. Finally， a joint regression loss optimization strategy combining Normalized Wasserstein Distance （NWD） and improved Inner-MPDIoU was employed to accelerate model’s convergence and improve model accuracy for small-scale targets. Experimental results show that on the bearing surface tiny defect dataset， compared with the original RT-DETR algorithm， FECS-DETR algorithm has the mean Average Precision （mAP） improved by 2.5 percentage points， the computation complexity reduced by 28.8%， and the detection speed increased by 20.8%. It can be seen that the proposed algorithm achieves a balance between accuracy and real-time performance， and satisfies the requirements for detection of bearing surface tiny defects in industrial environment.

Key words: bearing surface defect detection, small target, RT-DETR (Real-Time DEtection TRansformer), feature pyramid network, loss function

中图分类号:

TP391.41

周得辉, 赵军, 程进峰. 基于RT-DETR的轴承表面微小缺陷检测算法[J]. 计算机应用, 2025, 45(6): 1987-1997.

Dehui ZHOU, Jun ZHAO, Jinfeng CHENG. Tiny defect detection algorithm for bearing surface based on RT-DETR[J]. Journal of Computer Applications, 2025, 45(6): 1987-1997.

图/表 20

图1 RT-DETR-r18的网络结构

Fig. 1 Network structure of RT-DETR-r18

图2 FECS-DETR算法的网络结构

Fig. 2 Network structure of FECS-DETR algorithm

表1 计算开销对比

Tab. 1 Comparison of computational overhead

网络	计算量/GFLOPs	参数量/10⁶
ResNet18	1.80	11.7
ResNet34	3.60	21.8
FasterNet-T1	0.85	7.6
FasterNet-T2	1.90	15.0

图3 Conv和PConv结构

Fig. 3 Structures of Conv and PConv

图4 初步特征提取的过程

Fig. 4 Process of preliminary feature extraction

图5 AERF模块结构

Fig. 5 Structure of AERF module

图6 CGA的结构

Fig. 6 Structure of CGA

图7 CIS-FPN的结构

Fig. 7 Structure of CIS-FPN

图8 RMTC3模块结构

Fig. 8 Structure of RMTC3 module

图9 Inner-MPDIoU回归过程

Fig.9 Process of Inner-MPDIoU regression

图10 数据集部分图片

Fig. 10 Some images in dataset

表2 注意力机制对比

Tab. 2 Comparison of attention mechanisms

方法	P/%	R/%	mAP/%	计算量/GFLOPs	帧率/ （frame·s^-1）
None	89.5	84.7	88.4	37.2	125
CPCA	90.5	84.0	88.7	48.2	108
SGE	90.4	86.0	89.5	47.7	112
CA	90.4	86.2	89.8	47.7	112
CBAM	91.2	86.0	90.0	47.7	112
EffectiveSE	91.5	85.9	90.3	47.7	112

表3 消融实验结果

Tab. 3 Results of ablation experiments

实验	FasterNet-T1	AERF	CGA+CIS-FPN	NWD+Inner-MPDIoU	P/%	R/%	mAP/%	计算量/ GFLOPs	帧率/ （frame·s^-1）
Ⅰ					90.3	83.8	88.2	57.0	96
Ⅱ	√				89.5	84.7	88.4	37.2	125
Ⅲ		√			91.1	85.6	90.2	60.7	90
Ⅳ			√		90.8	86.1	90.2	49.9	98
Ⅴ				√	91.2	83.9	88.6	57.0	96
Ⅵ	√	√			91.5	85.9	90.3	47.7	112
Ⅶ	√	√	√		91.6	86.1	90.6	40.6	116
Ⅷ	√	√	√	√	92.0	86.5	90.7	40.6	116

图11 训练曲线变化对比

Fig. 11 Comparison of training curve variation

表4 不同检测算法对比实验结果

Tab. 4 Results of comparison experiments of different detection algorithms

算法	P/%	R/%	mAP/%	计算量/ GFLOPs	帧率/ （frame·s^-1）
Faster R-CNN^［31］	87.9	80.8	85.4	178.5	16
文献［9］算法	89.2	81.9	86.6	75.4	67
文献［32］算法	88.2	81.3	86.9	19.4	116
文献［33］算法	90.0	83.6	87.8	110.4	132
YOLOv8m^［34］	90.2	83.4	88.1	78.7	95
RT-DETR-r18^［14］	90.3	83.8	88.2	57.0	96
YOLOv10m^［35］	88.7	83.4	88.4	58.9	94
RT-DETR-KAN^［36］	90.6	86.8	90.0	117.4	40
RT-DETR-Mamba^［37］	90.9	87.2	90.4	54.5	72
FECS-DETR	92.0	86.5	90.7	40.6	116

图12 热力图的可视化对比

Fig. 12 Comparison of heat map visualization

图13 单类缺陷的检测结果对比

Fig. 13 Comparison of single-type defect detection results

图14 多类缺陷检测测结果对比

Fig. 14 Comparison of multi-type defect detection results

图15 本文算法的实际应用

Fig. 15 Practical application of proposed algorithm

图16 通用性对比实验结果

Fig. 16 Comparison experimental results of generality

参考文献 39

1	LIU B， YANG Y， WANG S， et al. An automatic system for bearing surface tiny defect detection based on multi-angle illuminations ［J］. Optik， 2020， 208： No.164517.
2	WANG H， YANG J， HU Z. Current status and prospect of roller bearing surface defect detection［J］. Procedia Engineering， 2011， 15： 4331-4336.
3	陈金贵，陈昊，张奔. 基于改进Niblack算法的轴承滚子表面缺陷检测［J］. 组合机床与自动化加工技术， 2018（12）：82-85， 97.
	CHEN J G， CHEN H， ZHANG B. Research on surface defect detection of bearing roller based on improved Niblack algorithm［J］. Modular Machine Tool and Automatic Manufacturing Technique， 2018（12）： 82-85， 97.
4	魏利胜，丁坤，段志达，等. 融合单应性约束SIFT特征匹配的轴承滚子检测［J］. 电子测量与仪器学报， 2019， 33（9）：107-113.
	WEI L S， DING K， DUAN Z D， et al. Bearing roller detection based on SIFT feature matching with homography constraints［J］. Journal of Electronic Measurement and Instrumentation， 2019， 33（9）： 107-113.
5	陈硕，林志敏，吴岳彬，等. 轴承套圈端面缺陷在线视觉检测的研究与实现［J］. 轴承， 2022（2）：48-54.
	CHEN S， LIN Z M， WU Y B， et al. Research and implementation of on-line visual inspection of defects on end face of bearing rings［J］. Bearing， 2022（2）： 48-54.
6	石炜，刘松，杨锦春，等. 列车滚子轴承表面缺陷图像的边缘提取［J］.机械设计与制造， 2024（11）： 179-183.
	SHI W， LIU S， YANG J C， et al. Edge extraction of surface defect image of train roller bearing［J］. Machinery Design and Manufacture， 2024（11）： 179-183.
7	SONG K K， ZHAO M， LIAO X， et al. An improved bearing defect detection algorithm based on YOLO［C］// Proceedings of the 2022 International Symposium on Control Engineering and Robotics. Piscataway： IEEE， 2022： 184-187.
8	高立明，贾书海，张国龙，等. 基于改进Faster R-CNN的绝缘轴承表面缺陷检测方法［J］. 轴承， 2023（4）：1-8.
	GAO L M， JIA S H， ZHANG G L， et al. Detection method for surface defects of insulated bearings based on improved Faster R-CNN［J］. Bearing， 2023（4）： 1-8.
9	李亚东，马行，穆春阳，等. 改进YOLOX网络的轴承缺陷小目标检测方法［J］. 计算机工程与应用， 2023， 59（1）：100-107.
	LI Y D， MA X， MU C Y， et al. Improved small target detection method of bearing defects in YOLOX network［J］. Computer Engineering and Applications， 2023， 59（1）： 100-107.
10	安冬，胡荣华，王丽艳，等. 基于Transformer的陶瓷轴承表面缺陷检测方法［J］. 组合机床与自动化加工技术， 2024（2）：160-163， 168.
	AN D， HU R H， WANG L Y， et al. Ceramic bearing surface defect detection method based on Transformer［J］. Modular Machine Tool and Automatic Manufacturing Technique， 2024（2）： 160-163， 168.
11	袁天乐，袁巨龙，朱勇建，等. 基于改进YOLOv5的推力球轴承表面缺陷检测算法［J］. 浙江大学学报（工学版）， 2022， 56（12）：2349-2357.
	YUAN T L， YUAN J L， ZHU Y J， et al. Surface defect detection algorithm of thrust ball bearing based on improved YOLOv5［J］. Journal of Zhejiang University （Engineering Science）， 2022， 56（12）： 2349-2357.
12	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
13	庞玉东，李志星，刘伟杰，等. 基于改进实时检测Transformer的塔机上俯视场景小目标检测模型［J］. 计算机应用， 2024， 44（12）： 3922-3929.
	PANG Y D， LI Z X， LIU W J， et al. Small target detection model in overlooking scenes on tower cranes based on improved real-time detection Transformer［J］. Journal of Computer Applications， 2024， 44（12）： 3922-3929.
14	ZHAO Y， LV W， XU S， et al. DETRs beat YOLOs on real-time object detection［C］// Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2024： 16965-16974.
15	CHEN J， KAO S H， HE H， et al. Run， don’t walk： chasing higher FLOPS for faster neural networks［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 12021-12031.
16	LIU X， PENG H， ZHENG N， et al. EfficientViT： memory efficient vision transformer with cascaded group attention［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 14420-14430.
17	HE Y H， LI J F. TSRes-YOLO： an accurate and fast cascaded detector for waste collection and transportation supervision［J］. Engineering Applications of Artificial Intelligence， 2023： 126.
18	LEE Y， PARK J. CenterMask： real-time anchor-free instance segmentation［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 13903-13912.
19	HU J， SHEN L， SUN G， et al. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.
20	LIU S， QI L， QIN H， et al. Path aggregation network for instance segmentation［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8759-8768.
21	WANG C， HE W， NIE Y， et al. Gold-YOLO： efficient object detector via gather-and-distribute mechanism［C］// Proceedings of the 37th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2023： 51094-51112.
22	CHEN Y， ZHANG C， CHEN B， et al. Accurate leukocyte detection based on deformable-DETR and multi-level feature fusion for aiding diagnosis of blood diseases［J］. Computers in Biology and Medicine， 2024， 170： No.107917.
23	FAN Q， HUANG H， CHEN M， et al. RMT： retentive networks meet vision Transformers ［C］// Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2024： 5641-5651.
24	WANG J， XU C， YANG W， et al. A normalized Gaussian Wasserstein distance for tiny object detection［EB/OL］. ［2024-05-02］..
25	ZHANG H， XU C， ZHANG S. Inner-IoU： more effective intersection over union loss with auxiliary bounding box ［EB/OL］. ［2024-05-06］..
26	MA S， XU Y. MPDIoU： a loss for efficient and accurate bounding box regression［EB/OL］. ［2024-05-08］..
27	HUANG H， CHEN Z， ZOU Y， et al. Channel prior convolutional attention for medical image segmentation［J］. Computers in Biology and Medicine， 2024， 178： No.108784.
28	HOU Q， ZHOU D， FENG J. Coordinate attention for efficient mobile network design［C］// Proceedings of the 2021 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 13708-13717.
29	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.
30	LI X， HU X， YANG J. Spatial group-wise enhance： improving semantic feature learning in convolutional networks［EB/OL］. ［2024-07-25］..
31	GIRSHICK R. Fast R-CNN［C］// Proceedings of the 2015 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2015： 1440-1448.
32	XU H， PAN H， LI J. Surface defect detection of bearing rings based on an improved YOLOv5 network［J］. Sensors， 2023， 23（17）： No.7443.
33	李伟，姚小敏，张鹏超，等. 改进的YOLO-V7钢材表面缺陷检测算法研究［J/OL］. 机械科学与技术［2024-03-07］..
	LI W， YAO X M， ZHANG P C， et al. Research on improved YOLO-V7 steel surface defect detection algorithm［J/OL］. Mechanical Science and Technology for Aerospace Engineering ［2024-03-07］..
34	VARGHESE R， SAMBATH M. YOLOv8： a novel object detection algorithm with enhanced performance and robustness ［C］ //2024 International Conference on Advances in Data Engineering and Intelligent Computing Systems. Piscataway： IEEE， 2024：1-6.
35	WANG A， CHEN H， LIU L H， et al. YOLOv10： realtime end-to-end object detection ［EB/OL］.［2024-04-11］. .
36	LIU Z， WANG Y， VAIDYA S， et al. KAN：Kolmogorov-arnold networks［EB/OL］.［2024-04-11］. .
37	GU A， DAO T. Mamba： Linear-time sequence modeling with selective state spaces ［EB/OL］.［2024-04-11］. .
38	SONG K， YAN Y. A noise robust method based on completed local binary patterns for hot-rolled steel strip surface defects［J］. Applied Surface Science， 2013， 285（Pt B）： 858-864.
39	DING R W， DAI L H， LI G P， et al. TDD-net： a tiny defect detection network for printed circuit boards［J］. CAAI Transactions on Intelligence Technology， 2019， 4（2）： 110-116.

[1]	胡婕, 吴翠, 孙军, 张龑. 基于回指与逻辑推理的文档级关系抽取模型[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1496-1503.
[2]	王泉, 曹心雨, 陈祺东. 面向车路协同的路侧交通目标检测模型及部署[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 1016-1024.
[3]	余松森, 林智凡, 薛国鹏, 徐建宇. 基于改进YOLOv8的轻量级大幅面瓷砖缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 647-654.
[4]	何秋润, 胡节, 彭博, 李天源. 基于上下文信息的多尺度特征融合织物疵点检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 640-646.
[5]	桂佳扬, 王顺吉, 周正康, 唐加山. 基于改进YOLOv8n的隧道内异物检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 655-661.
[6]	杨博然, 蔺素珍, 李大威, 禄晓飞, 崔晨辉. 基于信息补偿的红外弱小目标检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 284-291.
[7]	刘赏, 周煜炜, 代娆, 董林芳, 刘猛. 融合注意力和上下文信息的遥感图像小目标检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 292-300.
[8]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[9]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[10]	邓凯丽, 魏伟波, 潘振宽. 改进掩码自编码器的工业缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2595-2603.
[11]	李烨恒, 罗光圣, 苏前敏. 基于改进YOLOv5的Logo检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2580-2587.
[12]	龙伍丹, 彭博, 胡节, 申颖, 丁丹妮. 基于加强特征提取的道路病害检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2264-2270.
[13]	姬张建, 杜娜. 基于改进VariFocalNet的微小目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2200-2207.
[14]	孔哲, 李寒, 甘少伟, 孔明茹, 何冰涛, 郭子钰, 金督程, 邱兆文. 基于非对称多解码器和注意力模块的三维肾脏影像结构分割模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2216-2224.
[15]	程小辉, 黄云天, 张瑞芳. 基于多尺度和加权坐标注意力的轻量化红外道路场景检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1927-1934.

基于RT-DETR的轴承表面微小缺陷检测算法

Tiny defect detection algorithm for bearing surface based on RT-DETR

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 20

参考文献 39

相关文章 15

编辑推荐

Metrics