融合卷积神经网络的遥感图像全色锐化

doi:10.11772/j.issn.1001-9081.2022091458

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (9): 2963-2969.DOI: 10.11772/j.issn.1001-9081.2022091458

• 多媒体计算与计算机仿真 • 上一篇下一篇

融合卷积神经网络的遥感图像全色锐化

路琨婷, 费蓉蓉, 张选德()

陕西科技大学电子信息与人工智能学院，西安 710021

收稿日期:2022-10-08 修回日期:2022-12-01 接受日期:2022-12-06 发布日期:2023-02-22 出版日期:2023-09-10
通讯作者: 张选德
作者简介:路琨婷（1999—），女，陕西渭南人，硕士研究生，主要研究方向：遥感图像融合
费蓉蓉（1991—），女，陕西咸阳人，讲师，博士，主要研究方向：遥感图像处理、计算机视觉；
基金资助:
国家自然科学基金资助项目(61871260);陕西省自然科学基础研究计划项目(2020JQ-346)

Remote sensing image pansharpening by convolutional neural network

Kunting LU, Rongrong FEI, Xuande ZHANG()

School of Electronic Information and Artificial Intelligence，Shaanxi University of Science and Technology，Xi’an Shaanxi 710021，China

Received:2022-10-08 Revised:2022-12-01 Accepted:2022-12-06 Online:2023-02-22 Published:2023-09-10
Contact: Xuande ZHANG
About author:LU Kunting， born in 1999， M. S. candidate. Her research interests include remote sensing image fusion.
FEI Rongrong， born in 1991， Ph. D.， lecturer. Her research interests include remote sensing image processing， computer vision.
Supported by:
National Natural Science Foundation of China(61871260);Natural Science Basic Research Program of Shaanxi Province(2020JQ-346)

摘要/Abstract

摘要：

在遥感图像全色锐化中，传统的成分替换（CS）和多分辨率分析（MRA）方法的线性注入模型没有考虑用于全色锐化传感器的相对光谱响应，而基于深度学习的方法对原图像特征的提取不足会导致融合结果中的光谱和空间信息的丢失。针对以上问题，提出一种结合传统与深度学习方法的全色锐化方法CMRNet。首先，将CS和MRA与卷积神经网络（CNN）相结合以实现非线性从而提高全色锐化方法性能；其次，设计残差通道（RC）块实现多尺度特征信息的融合提取，并利用通道注意力（CA）自适应地为不同通道的特征图分配不同的权值，从而学习更有效的信息。在QuickBird和GF1卫星数据集上对CMRNet进行训练和测试，实验结果表明，在降尺度QuickBird和GF1数据集上，与经典方法PanNet相比，CMRNet的峰值信噪比（PSNR）分别提高了5.48%和9.62%，其他指标也均有显著提高。可见，CMRNet能实现较好的全色锐化效果。

关键词: 卷积神经网络, 遥感图像处理, 全色锐化, 成分替换, 多分辨率分析

Abstract:

In the linear injection models of traditional Component Substitution （CS） and Multi-Resolution Analysis （MRA） in remote sensing image pansharpening， the relative spectral response of the sensor used for pansharpening is not considered. At the same time， the insufficient feature extraction of the original images caused by the deep learning-based methods results in the loss of spectral and spatial information in the fusion results. Aiming at the above problems， a pansharpening method combining traditional and deep learning methods was proposed， namely CMRNet. Firstly， CS and MRA were combined with Convolutional Neural Network （CNN） to achieve nonlinearity and improve the performance of pansharpening method. Secondly， the Residual Channel （RC） blocks were designed to realize the fusion and extraction of multi-scale feature information， and the feature maps of different channels were assigned different weights by using Channel Attention （CA） adaptively to learn more effective information. Experiments were conducted on QuickBird and GF1 satellite datasets. Experimental results show that on downscale QuickBird and GF1 datasets， compared with the classic method PanNet， CMRNet has the Peak Signal-to-Noise Ratio （PSNR） increased by 5.48% and 9.62% respectively， and other indexes also improved significantly， which verifies that CMRNet can achieve a better pansharpening effect.

Key words: Convolutional Neural Network (CNN), remote sensing image processing, pansharpening, component substitution, Multi-Resolution Analysis (MRA)

中图分类号:

TP391

路琨婷, 费蓉蓉, 张选德. 融合卷积神经网络的遥感图像全色锐化[J]. 计算机应用, 2023, 43(9): 2963-2969.

Kunting LU, Rongrong FEI, Xuande ZHANG. Remote sensing image pansharpening by convolutional neural network[J]. Journal of Computer Applications, 2023, 43(9): 2963-2969.

图/表 13

参考文献 19

1	吴宗骏，吴炜，杨晓敏，等. 改进的基于稀疏表示的全色锐化算法［J］. 计算机应用， 2019， 39（2）： 540-545. 10.11772/j.issn.1001-9081.2018061374
	WU Z J， WU W， YANG X M， et al. Improved panchromatic sharpening algorithm based on sparse representation［J］. Journal of Computer Applications， 2019， 39（2）： 540-545. 10.11772/j.issn.1001-9081.2018061374
2	TU T M， HUANG P S， HUNG C L， et al. A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery［J］. IEEE Geoscience and Remote Sensing Letters， 2004， 1（4）： 309-312. 10.1109/lgrs.2004.834804
3	THOMAS C， RANCHIN T， WALD L， et al. Synthesis of multispectral images to high spatial resolution： a critical review of fusion methods based on remote sensing physics［J］. IEEE Transactions on Geoscience and Remote Sensing， 2008， 46（5）： 1301-1312. 10.1109/tgrs.2007.912448
4	LEE J， LEE C. Fast and efficient panchromatic sharpening［J］. IEEE Transactions on Geoscience and Remote Sensing， 2010， 48（1）： 155-163. 10.1109/tgrs.2009.2028613
5	MASI G， COZZOLINO D， VERDOLIVA L， et al. Pansharpening by convolutional neural networks［J］. Remote Sensing， 2016， 8（7）： No.594. 10.3390/rs8070594
6	WEI Y C， YUAN Q Q. Deep residual learning for remote sensed imagery pansharpening［C］// Proceedings of the 2017 International Workshop on Remote Sensing with Intelligent Processing. Piscataway： IEEE， 2017： 1-4. 10.1109/rsip.2017.7958794
7	YANG J F， FU X Y， HU Y W， et al. PanNet： a deep network architecture for pan-sharpening［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 1753-1761. 10.1109/iccv.2017.193
8	YUAN Q Q， WEI Y C， MENG X C， et al. A multiscale and multidepth convolutional neural network for remote sensing imagery pan-sharpening［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2018， 11（3）： 978-989. 10.1109/jstars.2018.2794888
9	FU X Y， WANG W， HUANG Y， et al. Deep multiscale detail networks for multiband spectral image sharpening［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（5）： 2090-2104. 10.1109/tnnls.2020.2996498
10	ZHANG H， MA J Y. GTP-PNet： a residual learning network based on gradient transformation prior for pansharpening［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2021， 172： 223-239. 10.1016/j.isprsjprs.2020.12.014
11	WANG Y J， XIE Y Y， WU Y Y， et al. An unsupervised multi-scale generative adversarial network for remote sensing image pan-sharpening［C］// Proceedings of the 2022 International Conference on Multimedia Modeling， LNCS 13142. Cham： Springer， 2022： 356-368.
12	ZHOU H Y， LIU Q J， WENG D W， et al. Unsupervised cycle-consistent generative adversarial networks for pan sharpening［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： No.5408814. 10.1109/tgrs.2022.3166528
13	胡高鹏，陈子鎏，王晓明，等. 基于深度渐进式反投影注意力网络的图像超分辨率重建［J］. 计算机应用， 2020， 40（7）： 2077-2083. 10.11772/j.issn.1001-9081.2019122155
	HU G P， CHEN Z L， WANG X M， et al. Image super-resolution reconstruction based on deep progressive back-projection attention network［J］. Journal of Computer Applications， 2020， 40（7）： 2077-2083. 10.11772/j.issn.1001-9081.2019122155
14	TU T M， SU S C， SHYU H C， et al. A new look at IHS-like image fusion methods［J］. Information Fusion， 2001， 2（3）： 177-186. 10.1016/s1566-2535(01)00036-7
15	DOU W， CHEN Y H， LI X B， et al. A general framework for component substitution image fusion： an implementation using the fast image fusion method［J］. Computers and Geosciences， 2007， 33（2）： 219-228. 10.1016/j.cageo.2006.06.008
16	ZHANG Y L， LI K P， LI K， et al. Image super-resolution using very deep residual channel attention networks［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 294-310.
17	WALD L， RANCHIN T， MANGOLINI M. Fusion of satellite images of different spatial resolutions： assessing the quality of resulting images［J］. Photogrammetric Engineering and Remote Sensing， 1997， 63（6）： 691-699.
18	AIAZZI B， ALPARONE L， BARONTI S， et al. MTF-tailored multiscale fusion of high-resolution MS and pan imagery［J］. Photogrammetric Engineering and Remote Sensing， 2006， 72（5）： 591-596. 10.14358/pers.72.5.591
19	SHAO Z F， CAI J J. Remote sensing image fusion with deep convolutional neural network［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2018， 11（5）： 1656-1669. 10.1109/jstars.2018.2805923

方法	PSNR/dB	SSIM	CC	SAM	ERGAS	Q₄
IHS	25.255 0	0.630 4	0.791 1	0.132 6	5.254 0	0.738 5
GS	25.294 5	0.642 3	0.808 0	0.131 2	4.991 3	0.734 7
Wavelet	24.562 3	0.563 9	0.781 4	0.133 6	5.321 2	0.712 1
MTF-GLP	26.294 0	0.658 0	0.855 8	0.126 0	4.844 1	0.783 6
DMDNet	31.117 9	0.902 5	0.901 2	0.035 4	2.201 6	0.940 0
MSDCNN	30.185 8	0.877 6	0.896 6	0.042 3	2.539 7	0.939 9
RSIFNN	30.631 2	0.890 1	0.888 9	0.040 7	2.315 0	0.939 3
PanNet	30.907 9	0.899 9	0.909 1	0.036 7	2.284 4	0.940 4
CMRNet	32.602 7	0.920 9	0.934 1	0.030 8	1.953 6	0.942 6

方法	PSNR/dB	SSIM	CC	SAM	ERGAS	Q₄
IHS	25.255 0	0.630 4	0.791 1	0.132 6	5.254 0	0.738 5
GS	25.294 5	0.642 3	0.808 0	0.131 2	4.991 3	0.734 7
Wavelet	24.562 3	0.563 9	0.781 4	0.133 6	5.321 2	0.712 1
MTF-GLP	26.294 0	0.658 0	0.855 8	0.126 0	4.844 1	0.783 6
DMDNet	31.117 9	0.902 5	0.901 2	0.035 4	2.201 6	0.940 0
MSDCNN	30.185 8	0.877 6	0.896 6	0.042 3	2.539 7	0.939 9
RSIFNN	30.631 2	0.890 1	0.888 9	0.040 7	2.315 0	0.939 3
PanNet	30.907 9	0.899 9	0.909 1	0.036 7	2.284 4	0.940 4
CMRNet	32.602 7	0.920 9	0.934 1	0.030 8	1.953 6	0.942 6

方法	PSNR/dB	SSIM	CC	SAM	ERGAS	Q₄
IHS	22.784 5	0.530 3	0.763 0	0.145 2	5.340 0	0.689 5
GS	22.696 9	0.533 6	0.766 9	0.148 6	5.234 3	0.676 7
Wavelet	22.862 0	0.481 4	0.785 1	0.135 1	5.058 6	0.681 7
MTF-GLP	23.535 9	0.548 9	0.831 6	0.144 7	5.004 1	0.727 2
DMDNet	31.249 2	0.899 9	0.953 0	0.038 6	2.414 9	0.926 9
MSDCNN	29.734 9	0.846 9	0.927 4	0.050 2	2.896 2	0.923 8
RSIFNN	29.916 7	0.855 8	0.932 1	0.047 7	2.818 7	0.923 0
PanNet	30.704 3	0.886 9	0.946 0	0.041 5	2.557 6	0.925 8
CMRNet	33.659 2	0.934 3	0.973 1	0.031 2	1.934 0	0.932 4

方法	PSNR/dB	SSIM	CC	SAM	ERGAS	Q₄
IHS	22.784 5	0.530 3	0.763 0	0.145 2	5.340 0	0.689 5
GS	22.696 9	0.533 6	0.766 9	0.148 6	5.234 3	0.676 7
Wavelet	22.862 0	0.481 4	0.785 1	0.135 1	5.058 6	0.681 7
MTF-GLP	23.535 9	0.548 9	0.831 6	0.144 7	5.004 1	0.727 2
DMDNet	31.249 2	0.899 9	0.953 0	0.038 6	2.414 9	0.926 9
MSDCNN	29.734 9	0.846 9	0.927 4	0.050 2	2.896 2	0.923 8
RSIFNN	29.916 7	0.855 8	0.932 1	0.047 7	2.818 7	0.923 0
PanNet	30.704 3	0.886 9	0.946 0	0.041 5	2.557 6	0.925 8
CMRNet	33.659 2	0.934 3	0.973 1	0.031 2	1.934 0	0.932 4

方法	D_λ	D_S	QNR
IHS	0.101 4	0.222 9	0.700 1
GS	0.081 0	0.200 7	0.737 3
Wavelet	0.113 8	0.116 1	0.785 9
MTF-GLP	0.123 3	0.129 4	0.765 8
DMDNet	0.046 3	0.005 2	0.948 7
MSDCNN	0.045 4	0.005 4	0.949 4
RSIFNN	0.042 6	0.006 2	0.952 0
PanNet	0.045 5	0.005 6	0.949 2
CMRNet	0.043 0	0.005 0	0.952 2

融合卷积神经网络的遥感图像全色锐化

Remote sensing image pansharpening by convolutional neural network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 19

相关文章 15

编辑推荐

Metrics

短连接	长连接	CA	PSNR/dB	SSIM	CC	SAM	ERGAS	Q₄
√	×	×	32.816 9	0.924 5	0.968 3	0.032 7	2.072 2	0.931 2
√	√	×	32.882 1	0.925 5	0.968 9	0.032 6	2.064 3	0.931 8
√	√	√	33.672 7	0.933 7	0.973 2	0.031 5	1.892 7	0.932 6

[1]	尚绍法, 蒋林, 李远成, 朱筠. 异构平台下卷积神经网络推理模型自适应划分和调度方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2828-2835.
[2]	李豆豆, 李汪根, 夏义春, 束阳, 高坤. 基于特征交互与自适应融合的骨骼动作识别[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2581-2587.
[3]	秦源源, 张鸿. 基于注意力特征金字塔网络的肺结节检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2311-2318.
[4]	何嘉明, 杨巨成, 吴超, 闫潇宁, 许能华. 基于多模态图卷积神经网络的行人重识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2182-2189.
[5]	张慧斌, 冯丽萍, 郝耀军, 王一宁. 基于注意力机制和迁移学习的古壁画朝代识别[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1826-1832.
[6]	傅励瑶, 尹梦晓, 杨锋. 基于Transformer的U型医学图像分割网络综述[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1584-1595.
[7]	王彬, 向甜, 吕艺东, 王晓帆. 基于NSGA‑Ⅱ的自适应多尺度特征通道分组优化算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1401-1408.
[8]	杨森淇, 段旭良, 肖展, 郎松松, 李志勇. 基于ERNIE+DPCNN+BiGRU的农业新闻文本分类[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1461-1466.
[9]	许睿, 梁爽, 万航, 文益民, 沈世铭, 李建. 基于烛台图模式匹配的PM_2.5扩散特征的提取[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1394-1400.
[10]	隋佳宏, 毛莺池, 于慧敏, 王子成, 平萍. 基于图注意力网络的全局图像描述生成方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1409-1415.
[11]	何建辉, 胡春龙, 束鑫. 基于多峰标签分布学习的多任务年龄估计方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1578-1583.
[12]	杨海宇, 郭文普, 康凯. 基于卷积长短时深度神经网络的信号调制方式识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1318-1322.
[13]	樊小宇, 蔺素珍, 王彦博, 刘峰, 李大威. 基于残差图卷积神经网络的高倍欠采样核磁共振图像重建算法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1261-1268.
[14]	李振亮, 李波. 基于矩阵分解的卷积神经网络改进方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 685-691.
[15]	李海丰, 张凡, 朴敏楠, 王怀超, 李南莎, 桂仲成. 基于通道和空间注意力的机场道面地下目标自动检测[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 930-935.

方法	参数量/10⁶	方法	参数量/10⁶
DMDNet	0.19	PanNet	0.14
MSDCNN	0.21	CMRNet	0.19
RSIFNN	0.32

方法	参数量/10⁶	方法	参数量/10⁶
DMDNet	0.19	PanNet	0.14
MSDCNN	0.21	CMRNet	0.19
RSIFNN	0.32