基于迁移学习的小样本绝缘子缺陷检测方法

doi:10.11772/j.issn.1001-9081.2024091322

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (10): 3363-3370.DOI: 10.11772/j.issn.1001-9081.2024091322

• 前沿与综合应用 • 上一篇

基于迁移学习的小样本绝缘子缺陷检测方法

张红¹^,², 谢慷慷¹(), 宁霞¹, 宋婉莹¹^,²

^1.西安科技大学通信与信息工程学院，西安 710054
^2.西安科技大学西安市网络融合通信重点实验室，西安 710054

收稿日期:2024-09-13 修回日期:2024-11-28 接受日期:2024-12-02 发布日期:2025-03-14 出版日期:2025-10-10
通讯作者: 谢慷慷
作者简介:张红（1972—），女，陕西西安人，副教授，博士，主要研究方向：信号与信息处理、计算机视觉、机器学习
谢慷慷（1999—），男，河南周口人，硕士研究生，主要研究方向：深度学习、计算机视觉、小样本目标检测 Email:2501534647@qq.com
宁霞（1998—），女，陕西汉中人，硕士研究生，主要研究方向：深度学习、计算机视觉
宋婉莹（1988—），女，陕西西安人，副教授，博士，主要研究方向：SAR图像分类、机器学习、模式识别。
基金资助:
国家自然科学基金资助项目(61901358)

Few-shot insulator defect detection method based on transfer learning

Hong ZHANG¹^,², Kangkang XIE¹(), Xia NING¹, Wanying SONG¹^,²

^1.College of Communication and Information Engineering，Xi’an University of Science and Technology，Xi’an Shaanxi 710054，China
^2.Xi’an Laboratory of Network Convergence Communication，Xi’an University of Science and Technology，Xi’an Shaanxi 710054，China

Received:2024-09-13 Revised:2024-11-28 Accepted:2024-12-02 Online:2025-03-14 Published:2025-10-10
Contact: Kangkang XIE
About author:ZHANG Hong， born in 1972， Ph. D.， associate professor. Her research interests include signal and information processing， computer vision， machine learning.
XIE Kangkang， born in 1999， M. S. candidate. His research interests include deep learning， computer vision， few-shot object detection.
NING Xia， born in 1998， M. S. candidate. Her research interests include deep learning， computer vision.
SONG Wanying， born in 1988， Ph. D.， associate professor. Her research interests include SAR image classification， machine learning， pattern recognition.
Supported by:
National Natural Science Foundation of China(61901358)

摘要/Abstract

摘要：

针对深度学习缺陷检测方法需要大量标注样本训练，而绝缘子缺陷样本获取困难的问题，提出一种基于迁移学习的小样本绝缘子缺陷检测方法。首先，在主干网络加入高效多尺度注意力（EMA）机制，以增强模型对目标特征的表征能力；其次，构建分层采样的区域建议网络（RPN）在特征金字塔中均匀选择锚框，提高模型对不同尺度下新类对象的捕获能力；最后，设计解耦分类头，并通过正负两个头分别处理正负样本，从而使模型可以更有效地适应新类对象。实验结果表明，与基线方法TFA（Two-stage Fine-tuning Approach）相比，在公共数据集PASCAL VOC上，所提方法对新类的平均精度均值（mAP）（交并比（IoU）为0.5）平均提升了9.5个百分点；在绝缘子缺陷数据集上，所提方法在1-shot、5-shot、10-shot、20-shot和30-shot检测任务中的mAP₅₀分别提高了15.8、12.2、17.4、7.3和7.1个百分点。

关键词: 绝缘子缺陷, 小样本目标检测, 迁移学习, 注意力机制, 解耦分类头

Abstract:

In order to solve the problem that deep learning defect detection methods require many labeled samples for training and insulator defect samples are difficult to obtain， a few-shot insulator defect detection method based on transfer learning was proposed. Firstly， an Efficient Multi-scale Attention （EMA） mechanism was added to the backbone network to enhance the model’s ability to represent target features. Secondly， a hierarchical sampling-based Region Proposal Network （RPN） was constructed to select anchors in the feature pyramid uniformly， thereby improving the model’s ability to capture new class objects at different scales. Finally， the classification heads were decoupled， and the positive and negative samples were processed by the positive and negative heads， respectively， so that the model was able to adapt to the new class of objects more effectively. Experimental results show that compared with the baseline method TFA （Two-stage Fine-tuning Approach）， on public dataset PASCAL VOC， the proposed method improves the mean Average Precision （mAP）（with IoU （Intersection over Union） of 0.5） of new class by 9.5 percentage points on average； on the insulator defect dataset， the proposed method has the mAP₅₀ in detection tasks of 1-shot， 5-shot， 10-shot， 20-shot， and 30-shot increased by 15.8， 12.2， 17.4， 7.3 and 7.1 percentage points， respectively.

Key words: insulator defect, few-shot object detection, transfer learning, attention mechanism, decoupled classification head

中图分类号:

TP391.4

张红, 谢慷慷, 宁霞, 宋婉莹. 基于迁移学习的小样本绝缘子缺陷检测方法[J]. 计算机应用, 2025, 45(10): 3363-3370.

Hong ZHANG, Kangkang XIE, Xia NING, Wanying SONG. Few-shot insulator defect detection method based on transfer learning[J]. Journal of Computer Applications, 2025, 45(10): 3363-3370.

图/表 13

参考文献 26

[1]	刘传洋，吴一全. 基于深度学习的输电线路视觉检测方法研究进展［J］. 中国电机工程学报， 2023， 43（19）：7423-7446.
	LIU C Y， WU Y Q. Research progress of vision detection methods based on deep learning for transmission lines［J］. Proceedings of the CSEE， 2023， 43（19）：7423-7446.
[2]	邬开俊，徐泽浩，单宏全. 基于FasterNet和YOLOv5改进的玻璃绝缘子自爆缺陷快速检测方法［J］. 高电压技术， 2024， 50（5）：1865-1876.
	WU K J， XU Z H， SHAN H Q. Rapid detection method for self-exploding defects in glass insulators based on improved FasterNet and YOLOv5［J］. High Voltage Engineering， 2024， 50（5）：1865-1876.
[3]	王昱晴，袁田，聂霖，等. 玻璃绝缘子玻璃件缺陷的机器视觉检测方法［J］. 高电压技术， 2022， 48（12）：4933-4940.
	WANG Y Q， YUAN T， NIE L， et al. Machine vision inspection method for defects of glass insulator［J］. High Voltage Engineering， 2022， 48（12）：4933-4940.
[4]	马耀名，张雨. 基于改进Faster-RCNN的绝缘子检测算法［J］. 计算机应用， 2022， 42（2）：631-637.
	MA Y M， ZHANG Y. Insulator detection algorithm based on improved Faster-RCNN［J］. Journal of Computer Applications， 2022， 42（2）：631-637.
[5]	赵博，马宏忠，张潇，等. 定向识别航拍绝缘子及其缺陷检测方法研究［J］. 电子测量与仪器学报， 2023， 37（5）：240-251.
	ZHAO B， MA H Z， ZHANG X， et al. Research on directional identification of aerial insulators and their defect detection methods［J］. Journal of Electronic Measurement and Instrumentation， 2023， 37（5）：240-251.
[6]	谢静，杜耀文，刘志坚，等. 基于轻量化改进型YOLOv5s的可见光绝缘子缺陷检测算法［J］. 电网技术， 2023， 47（12）：5273-5282.
	XIE J， DU Y W， LIU Z J， et al. Defect detection algorithm based on lightweight and improved YOLOv5s for visible light insulators［J］. Power System Technology， 2023， 47（12）：5273-5282.
[7]	刘开培，李博强，秦亮，等. 深度学习目标检测算法在架空输电线路绝缘子缺陷检测中的应用研究综述［J］. 高电压技术， 2023， 49（9）：3584-3595.
	LIU K P， LI B Q， QIN L， et al. Review of application research of deep learning object detection algorithms in insulator defect detection of overhead transmission lines［J］. High Voltage Engineering， 2023， 49（9）：3584-3595.
[8]	刘春磊，陈天恩，王聪，等. 小样本目标检测研究综述［J］. 计算机科学与探索， 2023， 17（1）：53-73.
	LIU C L， CHEN T E， WANG C， et al. Survey of few-shot object detection［J］. Journal of Frontiers of Computer Science and Technology， 2023， 17（1）：53-73.
[9]	WANG X， HUANG T E， DARRELL T， et al. Frustratingly simple few-shot object detection［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR.org， 2020： 9919-9928.
[10]	SUN B， LI B， CAI S， et al. FSCE： few-shot object detection via contrastive proposal encoding［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 7348-7358.
[11]	LU Z， LI Y， SHUANG F， et al. InsDef： few-shot learning-based insulator defect detection algorithm with a dual-guide attention mechanism and multiple label consistency constraints［J］. IEEE Transactions on Power Delivery， 2023， 38（6）： 4166-4178.
[12]	SHI Y， WANG H， JING C， et al. A few-shot defect detection method for transmission lines based on meta-attention and feature reconstruction［J］. Applied Sciences， 2023， 13（10）： No.5896.
[13]	WU J， ZHOU Y. An improved few-shot object detection via feature reweighting method for insulator identification［J］. Applied Sciences， 2023， 13（10）： No.6301.
[14]	白晓静，谢雅祺，赵淼，等. 基于局部特征深度信息的绝缘子小样本缺陷检测［J］. 电网技术， 2024， 48（2）：740-752.
	BAI X J， XIE Y Q， ZHAO M， et al. Few-shot insulator defect detection based on deep information of local features［J］. Power System Technology， 2024， 48（2）：740- 752.
[15]	OUYANG D， HE S， ZHANG G， et al. Efficient multi-scale attention module with cross-spatial learning［C］// Proceedings of the 2023 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2023： 1-5.
[16]	YAN X， CHEN Z， XU A， et al. Meta R-CNN： towards general solver for instance-level low-shot learning［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 9576-9585.
[17]	LIU Y， WANG W， LI Q， et al. DCNet： a deformable convolutional cloud detection network for remote sensing imagery［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： No.8013305.
[18]	ZHANG G， LUO Z， CUI K， et al. Meta-DETR： image-level few-shot detection with inter-class correlation exploitation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（11）： 12832-12843.
[19]	HAN G， MA J， HUANG S， et al. Few-shot object detection with fully cross-Transformer［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022：5311-5320.
[20]	史燕燕，史殿习，乔子腾，等. 小样本目标检测研究综述［J］. 计算机学报， 2023， 46（8）：1753-1780.
	SHI Y Y， SHI D X， QIAO Z T， et al. A survey on recent advances in few-shot object detection［J］. Chinese Journal of Computers， 2023， 46（8）： 1753-1780.
[21]	QIAO L， ZHAO Y， LI Z， et al. DeFRCN： decoupled Faster R-CNN for few-shot object detection［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 8661-8670.
[22]	YANG Z， ZHANG C， LI R， et al. Efficient few-shot object detection via knowledge inheritance［J］. IEEE Transactions on Image Processing， 2023， 32： 321-334.
[23]	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.
[24]	HOU Q， ZHOU D， FENG J. Coordinate attention for efficient mobile network design［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 13708-13717.
[25]	LI J， ZHANG Y， QIANG W， et al. Disentangle and remerge： interventional knowledge distillation for few-shot object detection from a conditional causal perspective［C］// Proceedings of the 37th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2023： 1323-1333.
[26]	HAO Z， LU J， LUO A. Few-shot object detection based on multi-scale attention model［C］// Proceedings of the SPIE 13161， 4th International Conference on Telecommunications， Optics， and Computer Science. Bellingham， WA： SPIE， 2024： No.131610L.

方法	mAP₅₀
	split1					split2					split3					平均值
	1-shot	2-shot	3-shot	5-shot	10-shot	1-shot	2-shot	3-shot	5-shot	10-shot	1-shot	2-shot	3-shot	5-shot	10-shot	平均值
Meta-RCNN	19.9	25.5	35.0	45.7	51.5	10.4	19.4	29.6	34.8	45.4	14.3	18.2	27.5	41.2	48.1	31.1
FSCE	44.2	43.8	51.4	61.9	63.4	27.3	29.5	43.5	44.2	50.2	37.2	41.9	47.5	54.6	58.5	46.6
E-FSOD	48.1	53.0	54.1	61.2	64.1	28.5	32.7	44.2	44.6	51.6	41.1	50.1	50.3	57.5	59.1	49.3
TFA	39.8	36.1	44.7	55.7	56.0	23.5	26.9	34.1	35.1	39.1	30.8	34.8	42.8	49.5	49.8	39.9
D&R	40.1	51.7	55.7	61.8	65.4	30.7	39.0	42.5	46.6	51.7	37.9	47.1	51.7	56.8	59.5	49.2
ACNet	55.3	—	54.9	62.8	61.1	34.4	—	49.6	53.3	50.3	50.2	—	54.7	55.1	59.4	—
本文方法	46.7	46.7	54.2	64.6	65.4	30.4	32.8	46.0	48.1	53.1	41.2	44.6	50.7	57.4	59.8	49.4

方法	mAP₅₀
	split1					split2					split3					平均值
	1-shot	2-shot	3-shot	5-shot	10-shot	1-shot	2-shot	3-shot	5-shot	10-shot	1-shot	2-shot	3-shot	5-shot	10-shot	平均值
Meta-RCNN	19.9	25.5	35.0	45.7	51.5	10.4	19.4	29.6	34.8	45.4	14.3	18.2	27.5	41.2	48.1	31.1
FSCE	44.2	43.8	51.4	61.9	63.4	27.3	29.5	43.5	44.2	50.2	37.2	41.9	47.5	54.6	58.5	46.6
E-FSOD	48.1	53.0	54.1	61.2	64.1	28.5	32.7	44.2	44.6	51.6	41.1	50.1	50.3	57.5	59.1	49.3
TFA	39.8	36.1	44.7	55.7	56.0	23.5	26.9	34.1	35.1	39.1	30.8	34.8	42.8	49.5	49.8	39.9
D&R	40.1	51.7	55.7	61.8	65.4	30.7	39.0	42.5	46.6	51.7	37.9	47.1	51.7	56.8	59.5	49.2
ACNet	55.3	—	54.9	62.8	61.1	34.4	—	49.6	53.3	50.3	50.2	—	54.7	55.1	59.4	—
本文方法	46.7	46.7	54.2	64.6	65.4	30.4	32.8	46.0	48.1	53.1	41.2	44.6	50.7	57.4	59.8	49.4

方法	mAP₅₀
方法	1-shot	5-shot	10-shot	20-shot	30-shot
Meta-RCNN	16.2	31.8	43.5	60.6	64.8
FSCE	28.5	46.4	61.3	67.6	72.0
E-FSOD	30.1	47.4	60.1	68.0	71.4
TFA	18.0	38.5	47.4	63.7	67.8
D&R	29.9	45.0	63.7	69.1	74.1
ACNet	33.6	49.9	61.8	68.7	70.5
本文方法	33.8	50.7	64.8	71.0	74.9

方法	mAP₅₀
方法	1-shot	5-shot	10-shot	20-shot	30-shot
Meta-RCNN	16.2	31.8	43.5	60.6	64.8
FSCE	28.5	46.4	61.3	67.6	72.0
E-FSOD	30.1	47.4	60.1	68.0	71.4
TFA	18.0	38.5	47.4	63.7	67.8
D&R	29.9	45.0	63.7	69.1	74.1
ACNet	33.6	49.9	61.8	68.7	70.5
本文方法	33.8	50.7	64.8	71.0	74.9

缺陷	mAP₅₀
缺陷	1-shot	5-shot	10-shot	20-shot	30-shot
陶瓷破损	30.3	48.0	56.0	60.1	64.7
玻璃自爆	37.3	53.4	73.6	81.9	85.1

基于迁移学习的小样本绝缘子缺陷检测方法

Few-shot insulator defect detection method based on transfer learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 26

相关文章 15

编辑推荐

Metrics

EMA	HRPN	DC	mAP₅₀/%					参数量/10⁶	模型大小/MB
EMA	HRPN	DC	1-shot	5-shot	10-shot	20-shot	30-shot	参数量/10⁶	模型大小/MB
			24.8	43.1	57.6	64.5	68.1	60.6	304.6
√			27.9	46.0	60.3	66.7	70.0	61.1	308.5
√	√		30.2	47.6	61.6	68.4	72.0	61.2	308.7
√	√	√	33.8	50.7	64.8	71.0	74.9	61.2	308.7

特征层	生成anchor数	负anchor数		mAP₅₀/%
特征层	生成anchor数	RPN	HRPN	RPN	HRPN
P2	136 000	97	44	70.0	72.0
P3	34 000	67	45
P4	8 000	40	45
P5	2 025	15	45
P6	576	4	45

模块	mAP₅₀
模块	陶瓷破损缺陷	玻璃自爆缺陷	平均值
分类回归头	61.7	80.6	71.2
+FPN	62.5	81.7	72.1
+HRPN	63.9	83.6	73.8
+ROI feat extractor	64.7	85.1	74.9

[1]	王闯, 俞璐, 陈健威, 潘成, 杜文博. 开集域适应综述[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2727-2736.
[2]	魏利利, 闫丽蓉, 唐晓芬. 上下文语义表征和像素关系纠正的小样本目标检测[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2993-3002.
[3]	邓伊琳, 余发江. 基于LSTM和可分离自注意力机制的伪随机数生成器[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2893-2901.
[4]	李维刚, 邵佳乐, 田志强. 基于双注意力机制和多尺度融合的点云分类与分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3003-3010.
[5]	王翔, 陈志祥, 毛国君. 融合局部和全局相关性的多变量时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2806-2816.
[6]	王芳, 胡静, 张睿, 范文婷. 内容引导下多角度特征融合医学图像分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3017-3025.
[7]	张嘉祥, 李晓明, 张佳慧. 结合新类特征增强与度量机制的小样本目标检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2984-2992.
[8]	吕景刚, 彭绍睿, 高硕, 周金. 复频域注意力和多尺度频域增强驱动的语音增强网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2957-2965.
[9]	吴海峰, 陶丽青, 程玉胜. 集成特征注意力和残差连接的偏标签回归算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2530-2536.
[10]	敬超, 全育涛, 陈艳. 基于多层感知机-注意力模型的功耗预测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2646-2655.
[11]	林进浩, 罗川, 李天瑞, 陈红梅. 基于跨尺度注意力网络的胸部疾病分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2712-2719.
[12]	周金, 李玉芝, 张徐, 高硕, 张立, 盛家川. 复杂电磁环境下的调制识别网络[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2672-2682.
[13]	刘皓宇, 孔鹏伟, 王耀力, 常青. 基于多视角信息的行人检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2325-2332.
[14]	赵小强, 柳勇勇, 惠永永, 刘凯. 基于改进时域卷积网络与多头自注意力机制的间歇过程质量预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2245-2252.
[15]	冯博, 于海征, 边红. 基于掩码增强自训练的域适应语义分割[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2132-2137.