基于改进Swin Transformer的电力图像检索方法

doi:10.11772/j.issn.1001-9081.2025040416

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (4): 1334-1343.DOI: 10.11772/j.issn.1001-9081.2025040416

• 前沿与综合应用 • 上一篇

基于改进Swin Transformer的电力图像检索方法

白翔¹, 李巨川¹^,², 王慧民¹, 景超¹^,²(), 钮键², 张兴忠¹^,², 程永强¹^,³

^1.山西省能源互联网研究院，太原 030000
^2.太原理工大学软件学院，山西晋中 030600
^3.太原理工大学计算机科学与技术学院，山西晋中 030600

收稿日期:2025-04-18 修回日期:2025-06-05 接受日期:2025-06-09 发布日期:2025-06-12 出版日期:2026-04-10
通讯作者: 景超
作者简介:白翔（1992—），男，山西柳林人，工程师，硕士，主要研究方向：人工智能、能源互联网
李巨川（2001—），男，山西运城人，硕士研究生，主要研究方向：多模态图像检索
王慧民（1995—），男，山西古交人，硕士，主要研究方向：人工智能、图像识别
钮键（1986—），女，河北保定人，博士研究生，主要研究方向：选煤智能化
张兴忠（1964—），男，山西汾阳人，教授，硕士，主要研究方向：计算机视觉、人工智能
程永强（1969—），男，山西祁县人，教授，博士，主要研究方向：图像重建、信息处理。
基金资助:
山西省重点研发计划项目(202202130501008)

Power image retrieval method based on improved Swin Transformer

Xiang BAI¹, Juchuan LI¹^,², Huimin WANG¹, Chao JING¹^,²(), Jian NIU², Xingzhong ZHANG¹^,², Yongqiang CHENG¹^,³

^1.Shanxi Energy Internet Research Institute，Taiyuan Shanxi 030000，China
^2.School of Software，Taiyuan University of Technology，Jinzhong Shanxi 030600，China
^3.College of Computer Science and Technology，Taiyuan University of Technology，Jinzhong Shanxi 030600，China

Received:2025-04-18 Revised:2025-06-05 Accepted:2025-06-09 Online:2025-06-12 Published:2026-04-10
Contact: Chao JING
About author:BAI Xiang， born in 1992， M. S.， engineer. His research interests include artificial intelligence， energy internet.
LI Juchuan， born in 2001， M. S. candidate. His research interests include multimodal image retrieval.
WANG Huimin， born in 1995， M. S. His research interests include artificial intelligence， image recognition.
NIU Jian， born in 1986， Ph. D. candidate. Her research interests include intelligent coal preparation.
ZHANG Xingzhong， born in 1964， M. S.， professor. His research interests include computer vision， artificial intelligence.
CHENG Yongqiang， born in 1969， Ph. D.， professor. His research interests include image reconstruction， information processing.
Supported by:
Key Research and Development Program of Shanxi Province(202202130501008)

摘要/Abstract

摘要：

针对现有的图像检索方法难以有效辨别和提取电力设备的相似结构信息和纹理细节特征，导致检索精度和效率低的问题，提出基于改进Swin Transformer的电力图像检索方法（PIR-iSwinT）。首先，提出多特征结构交叉增强模块（MFSCE），通过结合梯度幅值图的交叉注意力机制增强模型对设备结构和边缘特征的感知能力；其次，设计自适应类间差异中心损失模块（AIDCL）加强模型对同类样本和异类样本的辨别能力；最后，构建层次聚类检索模块（HCR）优化检索过程中的样本匹配策略并降低计算复杂度，进一步提升检索精度和效率。在自建电力场景数据集和NUS-WIDE数据集上的实验结果表明，当哈希码长度为32 bit时，PIR-iSwinT的平均精度均值（mAP）分别达到96.76%和92.68%，与HRMPA（Hash image Retrieval based on Mixed attention and Polarization Asymmetric loss）相比分别提升了2.35%和0.56%。可见，PIR-iSwinT能有效提取和辨别电力设备的细节结构特征，提升检索效率，同时展现出良好的泛化能力，验证了所提方法的有效性。

关键词: 图像检索, Swin Transformer, 交叉注意力机制, 中心损失, 层次聚类

Abstract:

The existing image retrieval methods struggle to distinguish and extract similar structural information and texture details of power equipment effectively， resulting in low retrieval accuracy and efficiency. To solve these problems， a Power Image Retrieval method based on improved Swin Transformer （PIR-iSwinT） was proposed. Firstly， a Multi-Feature Structure Cross-Enhancement module （MFSCE） was introduced to enhance the model's perception ability of equipment structural and edge features by combining cross-attention mechanism of the gradient magnitude map. Secondly， an Adaptive Inter-class Difference Center Loss module （AIDCL） was designed to strengthen the model's ability to distinguish between similar and dissimilar samples. Finally， a Hierarchical Clustering Retrieval module （HCR） was constructed to optimize the sample matching strategy during retrieval and reduce computational complexity， thereby further enhancing retrieval accuracy and efficiency. Experimental results on the self-built power scenario dataset and the NUS-WIDE dataset show that PIR-iSwinT achieves the mean Average Precision （mAP） of 96.76% and 92.68%， respectively， at a 32 bit hash code length， outperforming HRMPA （Hash image Retrieval based on Mixed attention and Polarization Asymmetric loss） by 2.35% and 0.56%， respectively. It can be seen that PIR-iSwinT extracts and distinguishes detailed structural features of power equipment effectively， enhances retrieval efficiency， and demonstrates good generalization capability， verifying effectiveness of the proposed method.

Key words: image retrieval, Swin Transformer, cross-attention mechanism, center loss, hierarchical clustering

中图分类号:

TP391.41

白翔, 李巨川, 王慧民, 景超, 钮键, 张兴忠, 程永强. 基于改进Swin Transformer的电力图像检索方法[J]. 计算机应用, 2026, 46(4): 1334-1343.

Xiang BAI, Juchuan LI, Huimin WANG, Chao JING, Jian NIU, Xingzhong ZHANG, Yongqiang CHENG. Power image retrieval method based on improved Swin Transformer[J]. Journal of Computer Applications, 2026, 46(4): 1334-1343.

图/表 16

图1 PIR-iSwinT的结构

Fig. 1 Structure of PIR-iSwinT

图2 MFSCE的结构

Fig. 2 Structure of MFSCE

图3 （偏移）窗口多头交叉注意力模块的结构

Fig. 3 Structure of （shifted） window multi-head cross-attention module

图4 W-MCA与SW-MCA模块的窗口划分

Fig. 4 Window division of W-MCA and SW-MCA modules

图5 自适应类间差异中心损失

Fig. 5 Adaptive inter-class difference center loss

图6 层次聚类的结构

Fig. 6 Structure of hierarchical clustering

表1 类别统计

Tab. 1 Category statistics

数据类别	样本总数	样本数
数据类别	样本总数	训练集	验证集	测试集	图像库集
母线（Busbar）	640	400	80	20	140
套管（Bushing）	750	400	80	20	250
电容器组（Capacitor Bank）	580	400	80	20	80
电感器（Inductor）	610	400	80	20	110
绝缘子（Insulator）	750	400	80	20	250
变压器（Transformer）	715	400	80	20	215
输电塔（Power Tower）	730	400	80	20	230

图7 自建电力场景数据集的样本示例

Fig. 7 Example samples of self-built power scenario dataset

表2 不同方法的对比实验结果

Tab. 2 Comparison experimental results of different methods

数据集	哈希码长度/bit	不同方法的mAP/%
数据集	哈希码长度/bit	DPN	PSLDH	VTS16-CSQ	LSCSH	HashFormer	TransHash	AE-ViT	DHST	HRMPA	PIR-iSwinT
自建电力场景数据集	16	85.65	88.41	89.48	77.43	83.23	83.48	88.51	92.66	94.28	95.83
	32	86.23	87.37	88.18	80.63	83.43	84.64	88.97	93.05	94.54	96.76
	48	86.67	89.11	88.86	79.94	82.19	83.68	88.23	93.74	94.87	96.23
	64	87.47	89.17	88.44	79.67	82.11	83.31	88.37	93.37	94.52	96.43
NUS-WIDE	16	80.81	81.37	82.64	70.42	73.45	72.67	82.24	90.66	90.94	91.11
	32	83.07	83.22	84.48	75.63	74.63	73.91	86.53	91.84	92.16	92.68
	48	84.51	84.47	—	69.94	75.49	—	—	92.86	92.65	91.93
	64	85.54	84.32	85.42	69.67	74.95	75.34	85.55	92.44	92.76	92.15

图8 不同方法在两个数据集上的P-R曲线

Fig. 8 P-R curves of different methods on two datasets

表3 MFSCE的消融实验结果 (%)

Tab. 3 Ablation experimental results of MFSCE

模型	mAP
模型	自建电力场景数据集	NUS-WIDE
Base Model	92.52	90.47
Base Model+MFSCE	94.31	91.21
PIR-iSwinT	96.76	92.68

图9 特征图的可视化结果

Fig. 9 Visualization results of feature maps

表4 AIDCL的消融实验结果 (%)

Tab. 4 Ablation experimental results of AIDCL

模型	mAP
模型	自建电力场景数据集	NUS-WIDE
Base Model	92.52	90.47
Base Model+AIDCL	93.87	90.96
PIR-iSwinT	96.76	92.68

表5 HCR的消融实验结果 (s)

Tab. 5 Ablation experimental results of HCR

模型	检索时间
模型	自建电力场景数据集	NUS-WIDE
Base Model	13.358	1 892.347
Base Model+HCR	4.125	557.957
PIR-iSwinT	3.842	561.125

图10 自建电力场景数据集的图像检索结果

Fig. 10 Image retrieval results of self-built power scenario dataset

图11 NUS-WIDE数据集的图像检索结果

Fig. 11 Image retrieval results of NUS-WIDE dataset

参考文献 29

[1]	张雪凝，刘兴波，宋井宽，等. 面向大规模图像检索的哈希学习综述［J］. 软件学报， 2025， 36（1）： 79-106.
	ZHANG X N， LIU X B， SONG J K， et al. Survey on hash learning for large-scale image retrieval ［J］. Journal of Software， 2025， 36（1）： 79-106.
[2]	ZHANG Q， SI T， JIANG H， et al. Improved image retrieval technology based on singular value decomposition ［C］// Proceedings of the IEEE 2nd International Conference on Power， Electronics and Computer Applications. Piscataway： IEEE， 2022： 660-664.
[3]	赵庆生，王雨滢，梁定康，等. 基于BOF图像检索算法的变电站设备图像分类［J］. 激光与光电子学进展， 2020， 57（18）： No.181011.
	ZHAO Q S， WANG Y Y， LIANG D K， et al. Image classification of substation equipment based on BOF image retrieval algorithm ［J］. Laser and Optoelectronics Progress， 2020， 57（18）： No.181011.
[4]	苗壮，王亚鹏，李阳，等. 一种等量约束聚类的无监督蒸馏哈希图像检索方法［J］. 计算机应用研究， 2023， 40（2）： 601-606.
	MIAO Z， WANG Y P， LI Y， et al. Unsupervised distillation hashing image retrieval method based on equivalent constraint clustering ［J］. Application Research of Computers， 2023， 40（2）： 601-606.
[5]	姚佩昀，于炯，李雪，等. 基于跨尺度Vision Transformer的深度哈希算法［J］. 计算机应用研究， 2024， 41（11）： 3477-3483.
	YAO P Y， YU J， LI X， et al. Deep hashing method based on cross-scale Vision Transformer ［J］. Application Research of Computers， 2024， 41（11）： 3477-3483.
[6]	李为杰，杨志景. 基于自监督蒸馏辅助学习的哈希图像检索［J］. 计算机工程与设计， 2023， 44（11）： 3420-3426.
	LI W J， YANG Z J. Deep hashing aided by self-supervised distillation learning for image retrieval ［J］. Computer Engineering and Design， 2023， 44（11）： 3420-3426.
[7]	潘丽丽，马俊勇，熊思宇，等. 基于类相似特征扩充与中心三元组损失的哈希图像检索［J］. 模式识别与人工智能， 2023， 36（8）： 685-700.
	PAN L L， MA J Y， XIONG S Y， et al. Hash image retrieval based on category similarity feature expansion and center triplet loss ［J］. Pattern Recognition and Artificial Intelligence， 2023， 36（8）： 685-700.
[8]	邵伟志，熊思宇，潘丽丽. 基于三元组哈希损失的半监督图像检索［J］. 北京航空航天大学学报， 2025， 51（7）： 2526-2537.
	SHAO W Z， XIONG S Y， PAN L L. Semi-supervised image retrieval based on triplet hash loss ［J］. Journal of Beijing University of Aeronautics and Astronautics， 2025， 51（7）： 2526-2537.
[9]	盖枚岭，张辉辉，秦琦冰. 基于特征金字塔网络的余弦四元组哈希图像检索方法［J］. 计算机工程与设计， 2024， 45（7）： 2127-2133.
	GAI M L， ZHANG H H， QIN Q B. Deep cosine quadruplet hashing based on feature pyramid network for image retrieval ［J］. Computer Engineering and Design， 2024， 45（7）： 2127-2133.
[10]	HAMEED I M， ABDULHUSSAIN S H， MAHMMOD B M. Content-based image retrieval： a review of recent trends ［J］. Cogent Engineering， 2021， 8（1）： No.1927469.
[11]	FADAEI S， RASHNO A， RASHNO E. Content-based image retrieval speedup ［C］// Proceedings of the 5th Iranian Conference on Signal Processing and Intelligent Systems. Piscataway： IEEE， 2019： 1-5.
[12]	LOWE D G. Distinctive image features from scale-invariant keypoints ［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.
[13]	BAY H， TUYTELAARS T， VAN GOOL L. SURF： speeded up robust features ［C］// Proceedings of the 2006 European Conference on Computer Vision， LNCS 3951. Berlin： Springer， 2006： 404-417.
[14]	LI W J， WANG S， KANG W C. Feature learning based deep supervised hashing with pairwise labels ［C］// Proceedings of the 25th International Joint Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2016： 1711-1717.
[15]	CAO Z， LONG M， WANG J， et al. HashNet： deep learning to hash by continuation ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 5609-5618.
[16]	YUAN L， WANG T， ZHANG X， et al. Central similarity quantization for efficient image and video retrieval ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 3080-3089.
[17]	CHEN Y， ZHANG S， LIU F， et al. TransHash： Transformer-based hamming hashing for efficient image retrieval ［C］// Proceedings of the 2022 International Conference on Multimedia Retrieval. New York： ACM， 2022： 127-136.
[18]	LI T， ZHANG Z， PEI L， et al. HashFormer： vision Transformer based deep hashing for image retrieval ［J］. IEEE Signal Processing Letters， 2022， 29： 827-831.
[19]	DUBEY S R， SINGH S K， CHU W T. Vision Transformer hashing for image retrieval ［C］// Proceedings of the 2022 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2022： 1-6.
[20]	苗壮，赵昕昕，李阳，等. 基于Swin Transformer的深度有监督哈希图像检索方法［J］. 湖南大学学报（自然科学版）， 2023， 50（8）： 62-71.
	MIAO Z， ZHAO X X， LI Y， et al. Deep supervised hashing image retrieval method based on Swin Transformer ［J］. Journal of Hunan University （Natural Sciences）， 2023， 50（8）： 62-71.
[21]	LIU Z， LIN Y， CAO Y， et al. Swin Transformer： hierarchical vision Transformer using shifted windows ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 9992-10002.
[22]	WEN Y， ZHANG K， LI Z， et al. A discriminative feature learning approach for deep face recognition ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9911. Cham： Springer， 2016： 499-515.
[23]	周锐，王桂娟，邓皓天，等. 复杂网络聚类特征层次布局算法［J］. 计算机应用研究， 2022， 39（2）： 479-484.
	ZHOU R， WANG G J， DENG H T， et al. Complex network clustering feature multi-level layout algorithm ［J］. Application Research of Computers， 2022， 39（2）： 479-484.
[24]	CHUA T S， TANG J， HONG R， et al. NUS-WIDE： a real world web image database from national university of Singapore ［C］ // Proceedings of the 2009 ACM International Conference on Image and Video Retrieval. New York： ACM， 2009： No.48.
[25]	FAN L， NG K W， JU C， et al. Deep polarized network for supervised learning of accurate binary hashing codes ［C］// Proceedings of the 29th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2020： 825-831.
[26]	TU R C， MAO X L， GUO J N， et al. Partial-Softmax loss based deep hashing ［C］// Proceedings of the Web Conference 2021. New York： ACM， 2021： 2869-2878.
[27]	XIE Y， WEI R， SONG J， et al. Label-affinity self-adaptive central similarity hashing for image retrieval［J］. IEEE Transactions on Multimedia， 2023， 25： 9161-9174.
[28]	刘华咏，黄聪，金汉均. 注意力增强的视觉Transformer图像检索算法［J］. 电子测量技术， 2023， 46（23）： 50-55.
	LIU H Y， HUANG C， JIN H J. Image retrieval method with attention-enhanced visual Transformer ［J］. Electronic Measurement Technology， 2023， 46（23）： 50-55.
[29]	刘华咏，徐明慧. 基于混合注意力与偏振非对称损失的哈希图像检索［J］. 计算机科学， 2025， 52（8）： 204-213.
	LIU H Y， XU M H. Hash image retrieval based on mixed attention and polarization asymmetric loss ［J］. Computer Science， 2025， 52（8）： 204-213.

基于改进Swin Transformer的电力图像检索方法

Power image retrieval method based on improved Swin Transformer

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 29

相关文章 15

编辑推荐

Metrics

[1]	李亚男, 郭梦阳, 邓国军, 陈允峰, 任建吉, 原永亮. 基于多模态融合特征的并分支发动机寿命预测方法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 305-313.
[2]	谷铮, 陈学斌, 张宏扬, 李雨欣. 基于凝聚式层次聚类的微调筛选过采样方法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2138-2144.
[3]	王艺涵, 路翀, 陈忠源. 跨模态文本信息增强的多模态情感分析模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2237-2244.
[4]	崔双双, 王宏志, 朱加昊, 吴昊. 面向低能耗高性能的分类器两阶段数据选择方法[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1703-1711.
[5]	李慧, 贾炳志, 王晨曦, 董子宇, 李纪龙, 仲兆满, 陈艳艳. 基于Swin Transformer的生成对抗网络水下图像增强模型[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1439-1446.
[6]	王子怡, 李卫军, 刘雪洋, 丁建平, 刘世侠, 苏易礌. 基于Swin Transformer与多尺度特征融合的图像描述方法[J]. 《计算机应用》唯一官方网站, 2025, 45(10): 3154-3160.
[7]	朱子蒙, 李志新, 郇战, 陈瑛, 梁久祯. 基于三元中心引导的弱监督视频异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1452-1457.
[8]	吴宁, 罗杨洋, 许华杰. 基于多尺度特征融合的遥感图像语义分割方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 737-744.
[9]	王林, 刘景亮, 王无为. 基于空洞卷积融合Transformer的无人机图像小目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3595-3602.
[10]	陈丽安, 过弋. 融合个体偏差信息的文本情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 145-151.
[11]	孙杰, 吴绍鑫, 王学军, 华璟. 基于Sophon SC5+芯片构架的行人搜索算法与优化[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 744-751.
[12]	姚英茂, 姜晓燕. 基于图卷积网络与自注意力图池化的视频行人重识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 728-735.
[13]	廖列法, 李志明, 张赛赛. 基于深度残差网络的迭代量化哈希图像检索方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2845-2852.
[14]	韩亚茹, 闫连山, 姚涛. 基于元学习的深度哈希检索算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2015-2021.
[15]	杨粟, 欧阳智, 杜逆索. 基于相关度距离的无监督并行哈希图像检索[J]. 计算机应用, 2021, 41(7): 1902-1907.