基于残差Swin Transformer的SAR与可见光图像融合

doi:10.11772/j.issn.1001-9081.2024081166

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (9): 2949-2956.DOI: 10.11772/j.issn.1001-9081.2024081166

• 多媒体计算与计算机仿真 • 上一篇

基于残差Swin Transformer的SAR与可见光图像融合

李进¹, 刘立群²()

^1.甘肃农业大学理学院，兰州 730070
^2.甘肃农业大学信息科学技术学院，兰州 730070

收稿日期:2024-08-19 修回日期:2024-11-28 接受日期:2024-12-10 发布日期:2025-02-17 出版日期:2025-09-10
通讯作者: 刘立群
作者简介:李进（2001—），女，江西抚州人，硕士研究生，主要研究方向：深度学习、图像融合
基金资助:
国家自然科学基金资助项目(32460440);甘肃省高校教师创新基金资助项目(2023A-051)

SAR and visible image fusion based on residual Swin Transformer

Jin LI¹, Liqun LIU²()

^1.College of Science，Gansu Agricultural University，Lanzhou Gansu 730070，China
^2.College of Information Science and Technology，Gansu Agricultural University，Lanzhou Gansu 730070，China

Received:2024-08-19 Revised:2024-11-28 Accepted:2024-12-10 Online:2025-02-17 Published:2025-09-10
Contact: Liqun LIU
About author:LI Jin， born in 2001， M. S. candidate. Her research interests include deep learning， image fusion.
Supported by:
National Natural Science Foundation of China(32460440);Gansu Provincial University Teacher Innovation Fund(2023A-051)

摘要/Abstract

摘要：

在合成孔径雷达（SAR）与可见光图像的融合研究中，现有方法通常面临着模态间差异大、信息丢失和计算复杂度高等挑战。因此，提出一种基于残差Swin Transformer模块的SAR和可见光图像融合算法。首先，采用Swin Transformer作为主干提取全局特征，并用一个全注意力特征编码主干网络建模远程依赖关系。其次，为了提高融合效果，设计3种不同的融合策略：基于序列矩阵的L1范数的特征融合策略、基于图像金字塔的融合策略及加法融合策略。再次，将3个结果加权平均以得到最终的融合结果，从而有效地调节像素值并减少SAR图像的噪声，更好地保留可见光图像清晰的细节和结构信息，并融合SAR图像和可见光图像不同尺度的地物特征信息。最后，在SEN1-2数据集、QXS-SAROPT数据集以及OSdataset上进行了大量实验。实验结果表明，所提算法与基于卷积神经网络的通用图像融合框架IFCNN、基于潜在低秩表示的多级分解（MDLatLRR）等算法相比，主观视觉效果更优，在大多数客观评价指标上有明显提升，且在保留源图像特征的同时具备优秀的噪声抑制和图像保真能力。

关键词: 合成孔径雷达, 可见光图像, 图像融合, Transformer, 深度学习

Abstract:

In the fusion research of Synthetic Aperture Radar （SAR） and visible images， the existing methods usually face the challenges of large modal differences， information loss and high computational complexity. Therefore， an SAR and visible image fusion algorithm based on residual Swin Transformer module was proposed. Firstly， Swin Transformer was used as the backbone to extract global features， and a full-attention feature coding backbone network was used to model remote dependencies. Secondly， in order to improve fusion effect， three different fusion strategies were designed： feature fusion strategy based on L1 norm of sequence matrix， fusion strategy based on image pyramid， and additive fusion strategy. Thirdly， the final fusion result was obtained by weighted averaging the three results， which adjusted pixel value and reduced noise of SAR image effectively， better retained clear details and structural information of visible image， and fused surface feature information of SAR image and visible image at different scales. Finally， many experiments were carried out on SEN1-2 dataset， QXS-SAROPT dataset， and OSdataset. Experimental results show that compared with the algorithms such as general image fusion framework based on convolutional neural network IFCNN， and Multi-level Decomposition based on Latent Low-Rank Representation （MDLatLRR）， the proposed algorithm has better subjective visual effects with significant improvement in most objective evaluation indicators， and has excellent noise suppression and image fidelity capabilities while retaining source image features.

Key words: Synthetic Aperture Radar (SAR), visible image, image fusion, Transformer, deep learning

中图分类号:

TP391

李进, 刘立群. 基于残差Swin Transformer的SAR与可见光图像融合[J]. 计算机应用, 2025, 45(9): 2949-2956.

Jin LI, Liqun LIU. SAR and visible image fusion based on residual Swin Transformer[J]. Journal of Computer Applications, 2025, 45(9): 2949-2956.

图/表 17

参考文献 26

[1]	HUANG S， ZHANG X， WANG C， et al. Two-step fusion method for generating 1 km seamless multi-layer soil moisture with high accuracy in the Qinghai-Tibet plateau ［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2023， 197： 346-363.
[2]	GU Y， WANG Y， WU Y， et al. Novel 3D photosynthetic traits derived from the fusion of UAV LiDAR point cloud and multispectral imagery in wheat ［J］. Remote Sensing of Environment， 2024， 311： No.114244.
[3]	邢庆宝. 基于深度学习的SAR与可见光图像融合算法研究［D］. 南昌：南昌大学， 2023：22-24.
	XING Q B. Research on deep learning-based SAR and visible light image fusion algorithm［D］. Nanchang： Nanchang University， 2023： 22-24.
[4]	LIU J， DIAN R， LI S， et al. SGFusion： a saliency guided deep-learning framework for pixel-level image fusion ［J］. Information Fusion， 2023， 91： 205-214.
[5]	周涛，刘珊，董雅丽，等. 多尺度变换像素级医学图像融合：研究进展、应用和挑战［J］. 中国图象图形学报， 2021， 26（9）：2094-2110.
	ZHOU T， LIU S， DONG Y L， et al. Research on pixel-level image fusion based on multi-scale transformation： progress application and challenges ［J］. Journal of Image and Graphics， 2021， 26（9）： 2094-2110.
[6]	徐景余，包妮沙，郎洁双，等.优化稀疏表示的迷彩伪装目标高光谱识别方法研究［J］.光谱学与光谱分析，2024，44（12）：3534-3542.
	XU J Y， BAO N S， LANG J S， et al. A hyperspectral recognition method for camouflaged targets based on background dictionary sparse representation ［J］. Spectroscopy and Spectral Analysis， 2024，44（12）：3534-3542.
[7]	LI X， LEI L， SUN Y， et al. Multimodal bilinear fusion network with second-order attention based channel selection for land cover classification ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2020， 13： 1011-1026.
[8]	YE Y， LIU W， ZHOU L， et al. An unsupervised SAR and optical image fusion network based on structure-texture decomposition ［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： No.4028305.
[9]	KONG Y， HONG F， LEUNG H， et al. A fusion method of optical image and SAR image based on dense-UGAN and Gram-Schmidt transformation ［J］. Remote Sensing， 2021， 13（21）： No.4274.
[10]	YIN H， XIAO J. Laplacian pyramid generative adversarial network for infrared and visible image fusion ［J］. IEEE Signal Processing Letters， 2022， 29： 1988-1992.
[11]	DOSOVISKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale［EB/OL］. ［2024-08-27］. .
[12]	HU L， SU S， ZUO Z， et al. A visible and synthetic aperture radar image fusion algorithm based on a Transformer and a convolutional neural network ［J］. Electronics， 2024， 13（12）： No.2365.
[13]	LIU Z， LIN Y， CAO Y， et al. Swin Transformer： hierarchical Vision Transformer using shifted windows ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 9992-10002.
[14]	ZHOU H， LIU Q， WANG Y. PanFormer： a Transformer based model for pan-sharpening ［C］// Proceedings of the 2022 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE， 2022： 1-6.
[15]	范文盛，刘帆，李明. 基于双分支U形Transformer的遥感图像融合［J］. 光子学报， 2023， 52（4）： No.0428002.
	FAN W S， LIU F， LI M. Remote sensing image fusion based on two-branch U-shaped Transformer ［J］. Acta Photonica Sinica， 2023， 52（4）： No.0428002.
[16]	LI S， WANG G， ZHANG H， et al. SDRSwin： a residual Swin Transformer network with saliency detection for infrared and visible image fusion ［J］. Remote Sensing， 2023， 15（18）： No.4467.
[17]	李碧草，卢佳熙，刘洲峰，等. 基于Swin Transformer和混合特征聚合的红外与可见光图像融合方法［J］. 红外技术， 2023， 45（7）： 721-731.
	LI B C， LU J X， LIU Z F， et al. Infrared and visible light image fusion method based on Swin Transformer and hybrid feature aggregation ［J］. Infrared Technology， 2023， 45（7）： 721-731.
[18]	LUO Y， LUO Z. Infrared and visible image fusion algorithm based on improved residual Swin Transformer and Sobel operators ［J］. IEEE Access， 2024， 12： 82134-82145.
[19]	WANG Z， CHEN Y， SHAO W， et al. Swinfuse： a residual Swin Transformer fusion network for infrared and visible images ［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： No.5016412.
[20]	SCHMITT M， HUGHES L H， ZHU X X. The SEN1-2 dataset for deep learning in SAR-optical data fusion ［J］. SPRS Annals of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2018， Ⅳ-1： 141-146.
[21]	HUANG M， XU Y， QIAN L， et al. The QXS-SAROPT dataset for deep learning in SAR-optical data fusion ［EB/OL］. ［2024-05-21］. .
[22]	XIANG Y， TAO R， WANG F， et al. Automatic registration of optical and SAR images via improved phase congruency model ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2020， 13： 5847-5861.
[23]	ZHANG Y， LIU Y， SUN P， et al. IFCNN： a general image fusion framework based on convolutional neural network ［J］. Information Fusion， 2020， 54：99-118.
[24]	MA J， ZHANG H， SHAO Z， et al. GANMcC： a generative adversarial network with multiclassification constraints for infrared and visible image fusion ［J］. IEEE Transactions on Instrumentation and Measurement， 2021， 70： No.5005014.
[25]	LI H， WU X， KITTLER J. MDLatLRR： a novel decomposition method for infrared and visible image fusion ［J］. IEEE Transactions on Image Processing， 2020， 29：4733-4746.
[26]	LIU K， LI M， CHEN C， et al. DSFusion： infrared and visible image fusion method combining detail and scene information ［J］. Pattern Recognition， 2024， 154： No.110633.

a	b	c	AG	MI	SD	PSNR/dB	SF	EN
0.05	0.05	0.9	13.26	2.32	49.22	55.51	26.74	4.79
0.10	0.10	0.8	12.40	1.98	47.68	54.72	26.55	4.37
0.15	0.15	0.7	12.63	2.72	48.85	56.21	28.45	5.77
0.20	0.20	0.6	12.04	2.78	49.53	56.84	30.31	6.18
0.25	0.25	0.5	10.48	2.64	49.66	53.92	27.90	5.54
0.30	0.30	0.4	9.74	2.36	44.34	52.44	25.36	5.11
0.35	0.35	0.3	8.65	1.57	44.60	50.47	24.10	4.86
0.40	0.40	0.2	7.36	1.62	42.05	48.33	25.08	3.95
0.45	0.45	0.1	6.95	1.79	40.84	47.70	23.52	4.06

a	b	c	AG	MI	SD	PSNR/dB	SF	EN
0.05	0.05	0.9	13.26	2.32	49.22	55.51	26.74	4.79
0.10	0.10	0.8	12.40	1.98	47.68	54.72	26.55	4.37
0.15	0.15	0.7	12.63	2.72	48.85	56.21	28.45	5.77
0.20	0.20	0.6	12.04	2.78	49.53	56.84	30.31	6.18
0.25	0.25	0.5	10.48	2.64	49.66	53.92	27.90	5.54
0.30	0.30	0.4	9.74	2.36	44.34	52.44	25.36	5.11
0.35	0.35	0.3	8.65	1.57	44.60	50.47	24.10	4.86
0.40	0.40	0.2	7.36	1.62	42.05	48.33	25.08	3.95
0.45	0.45	0.1	6.95	1.79	40.84	47.70	23.52	4.06

算法	AG	MI	SD	PSNR/dB	SF	EN
IFCNN^［23］	9.83	2.59	47.17	53.63	27.28	5.92
GANMcC^［24］	10.92	2.76	49.88	55.12	26.60	5.74
MDLatLRR^［25］	11.44	2.61	47.20	53.24	26.31	5.42
Swinfuse^［19］	12.68	2.62	49.36	56.79	30.29	6.08
DSFusion^［26］	13.32	2.74	47.27	60.33	29.64	5.89
本文算法	12.04	2.78	49.53	56.84	30.31	6.18

算法	AG	MI	SD	PSNR/dB	SF	EN
IFCNN^［23］	9.83	2.59	47.17	53.63	27.28	5.92
GANMcC^［24］	10.92	2.76	49.88	55.12	26.60	5.74
MDLatLRR^［25］	11.44	2.61	47.20	53.24	26.31	5.42
Swinfuse^［19］	12.68	2.62	49.36	56.79	30.29	6.08
DSFusion^［26］	13.32	2.74	47.27	60.33	29.64	5.89
本文算法	12.04	2.78	49.53	56.84	30.31	6.18

算法	AG	MI	SD	PSNR/dB	SF	EN
IFCNN^［23］	10.41	2.13	28.55	58.69	43.72	5.78
GANMcC^［24］	18.07	2.71	39.98	61.20	46.39	6.03
MDLatLRR^［25］	13.34	1.89	36.32	52.46	27.48	5.34
Swinfuse^［19］	22.19	2.04	57.71	58.83	28.95	5.95
DSFusion^［26］	20.48	2.44	40.72	59.78	47.33	6.11
本文算法	8.93	2.79	30.96	60.91	48.14	6.14

基于残差Swin Transformer的SAR与可见光图像融合

SAR and visible image fusion based on residual Swin Transformer

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 17

参考文献 26

相关文章 15

编辑推荐

Metrics

算法	AG	MI	SD	PSNR/dB	SF	EN
IFCNN^［23］	9.54	2.43	24.77	44.28	34.61	5.04
GANMcC^［24］	10.23	2.36	25.41	46.01	38.85	5.57
MDLatLRR^［25］	11.80	2.48	27.86	48.69	37.35	4.84
Swinfuse^［19］	13.64	2.51	25.99	48.34	39.97	5.73
DSFusion^［26］	18.66	2.54	26.82	50.26	38.59	7.32
本文算法	10.37	2.56	27.83	50.88	40.13	5.22

融合策略	AG	MI	SD	PSNR/dB	SF	EN
策略1	14.52	2.58	48.29	55.97	31.26	6.75
策略2+3	15.54	2.42	47.83	55.86	27.86	6.14
策略1+2	14.31	2.62	48.59	56.04	28.63	6.91
策略1+3	15.76	2.61	48.11	55.75	29.98	6.87
本文算法	15.97	2.60	49.54	56.06	30.79	6.89

融合策略	AG	MI	SD	PSNR/dB	SF	EN
策略1	12.51	2.96	53.08	62.37	41.25	7.18
策略2+3	8.12	2.58	40.27	61.54	30.86	6.46
策略1+2	12.48	3.09	43.65	63.12	38.39	7.51
策略1+3	12.66	3.03	42.79	62.49	37.71	7.24
本文算法	8.83	3.14	40.94	63.59	31.87	7.42

融合策略	AG	MI	SD	PSNR/dB	SF	EN
策略1	7.72	2.46	42.45	37.64	21.10	3.67
策略2+3	7.65	2.61	40.99	38.09	22.34	3.44
策略1+2	9.96	3.53	45.12	42.90	23.50	4.65
策略1+3	9.35	3.67	43.66	42.17	26.44	5.28
本文算法	10.68	3.85	46.10	42.33	25.76	5.54

[1]	张宏俊, 潘高军, 叶昊, 陆玉彬, 缪宜恒. 结合深度学习和张量分解的多源异构数据分析方法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2838-2847.
[2]	殷兵, 凌震华, 林垠, 奚昌凤, 刘颖. 兼容缺失模态推理的情感识别方法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2764-2772.
[3]	廖炎华, 鄢元霞, 潘文林. 基于YOLOv9的交通路口图像的多目标检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2555-2565.
[4]	周金, 李玉芝, 张徐, 高硕, 张立, 盛家川. 复杂电磁环境下的调制识别网络[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2672-2682.
[5]	葛丽娜, 王明禹, 田蕾. 联邦学习的高效性研究综述[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2387-2398.
[6]	彭鹏, 蔡子婷, 刘雯玲, 陈才华, 曾维, 黄宝来. 基于CNN和双向GRU混合孪生网络的语音情感识别方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2515-2521.
[7]	张硕, 孙国凯, 庄园, 冯小雨, 王敬之. 面向区块链节点分析的eclipse攻击动态检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2428-2436.
[8]	陶永鹏, 柏诗淇, 周正文. 基于卷积和Transformer神经网络架构搜索的脑胶质瘤多组织分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2378-2386.
[9]	索晋贤, 张丽萍, 闫盛, 王东奇, 张雅雯. 可解释的深度知识追踪方法综述[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2043-2055.
[10]	王震洲, 郭方方, 宿景芳, 苏鹤, 王建超. 面向智能巡检的视觉模型鲁棒性优化方法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2361-2368.
[11]	齐巧玲, 王啸啸, 张茜茜, 汪鹏, 董永峰. 基于元学习的标签噪声自适应学习算法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2113-2122.
[12]	赵小阳, 许新征, 李仲年. 物联网应用中的可解释人工智能研究综述[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2169-2179.
[13]	花天辰, 马晓宁, 智慧. 基于浅层人工神经网络的可移植执行恶意软件静态检测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1911-1921.
[14]	李岚皓, 严皓钧, 周号益, 孙庆赟, 李建欣. 基于神经网络的多尺度信息融合时间序列长期预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1776-1783.
[15]	牛四杰, 刘昱良. 基于知识蒸馏双分支结构的视网膜病变辅助诊断方法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1410-1414.