基于密集连接的红外可见光图像融合方法

doi:10.11772/j.issn.1001-9081.2023040403

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (S2): 163-167.DOI: 10.11772/j.issn.1001-9081.2023040403

• 多媒体计算与计算机仿真 • 上一篇

基于密集连接的红外可见光图像融合方法

李嘉元, 程江华(), 刘通, 程榜, 潘乐昊

国防科技大学电子科学学院，长沙 410073

收稿日期:2023-04-30 修回日期:2023-06-10 接受日期:2023-06-16 发布日期:2024-01-09 出版日期:2023-12-31
通讯作者: 程江华
作者简介:李嘉元（1995—），男，山西运城人，硕士研究生，主要研究方向：图像处理、嵌入式设计
程江华（1979—），男，江苏盐城人，教授，博士，主要研究方向：智能信息处理
刘通（1982—），男，河南南阳人，副研究员，主要研究方向：电路与系统
程榜（1993—），男，湖北咸宁人，讲师，硕士研究生，主要研究方向：计算机视觉、智能信息处理、电路与系统
潘乐昊（1999—），男，河南南阳人，硕士研究生，主要研究方向：图像处理、嵌入式设计。
基金资助:
湖南省自然科学基金资助项目(2020JJ4670)

Infrared and visible light image fusion method based on dense connection

Jiayuan LI, Jianghua CHENG(), Tong LIU, Bang CHENG, Lehao PAN

School of Electronic Science，National University of Defense Technology，Changsha Hunan 410073，China

Received:2023-04-30 Revised:2023-06-10 Accepted:2023-06-16 Online:2024-01-09 Published:2023-12-31
Contact: Jianghua CHENG

摘要/Abstract

摘要：

针对基于人工智能的红外可见光图像的融合方法中神经网络网络设计复杂、参数量和推理计算量较大的问题，提出一种轻量化网络结构。首先，使用两个相同的密集连接块提取图像特征；然后，对红外图像和可见光图像使用共同的卷积核，以减少参数量；最后，利用残差连接保留梯度信息，同时基于像素显著性原则设计网络损失函数。在TNO和M3FD数据集上的实验结果表明，与U2Fusion经典算法相比，所提方法的参数量和推理计算量分别降低了83.5%和87.5%，并保持了良好的融合效果。

关键词: 图像融合, 轻量化网络, 密集连接, 深度学习, 红外图像

Abstract:

A light-weight neural network structure was proposed to address the issues of complex neural network design， numerous parameters and large inference computation in the image fusion method based on artificial intelligence. Firstly， two identical dense connection blocks were used to extract image features. Then， the common convolution kernels were used for infrared images and visible images to reduce the number of parameters. Finally， the residual connection was used to retain the gradient information， and the network loss function was designed based on the principle of pixel saliency. The experimental results on TNO and M3FD datasets demonstrate that compared with the U2Fusion， the number of parameters and amount of inference computation reduced by 83.5% and 87.5%， while maintaining good fusion performance.

Key words: image fusion, light-weight network, dense connection, deep learning, infrared image

中图分类号:

TP391

李嘉元, 程江华, 刘通, 程榜, 潘乐昊. 基于密集连接的红外可见光图像融合方法[J]. 计算机应用, 2023, 43(S2): 163-167.

Jiayuan LI, Jianghua CHENG, Tong LIU, Bang CHENG, Lehao PAN. Infrared and visible light image fusion method based on dense connection[J]. Journal of Computer Applications, 2023, 43(S2): 163-167.

图/表 6

参考文献 23

1	MERTENS T， KAUTZ J， VAN REETH F. Exposure fusion［C］// Proceedings of the 15th Pacific Conference on Computer Graphics and Applications. Washington， DC： IEEE Computer Society， 2007： 382-390. 10.1109/pg.2007.17
2	ZHANG Z， BLUM R S. A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application［J］. Proceedings of the IEEE， 1999， 87（8）： 1315-1326. 10.1109/5.775414
3	刘琰煜，周冬明，聂仁灿，等. 低秩表示和字典学习的红外与可见光图像融合算法［J］. 云南大学学报（自然科学版）， 2019， 41（4）： 689-698. 10.7540/j.ynu.20180753
4	刘明葳，王任华，李静，等. 各向异性导向滤波的红外与可见光图像融合［J］. 中国图象图形学报， 2021，26（10）： 2421-2432. 10.11834/jig.200339
5	侯瑞超，周冬明，聂仁灿，等. 结合HSI变换与双通道脉冲发放皮层的彩色多聚焦图像融合［J］. 云南大学学报（自然科学版）， 2019， 41（2）： 245-252. 10.7540/j.ynu.20180191
6	霍星，邹韵，陈影，等. 双尺度分解和显著性分析相结合的红外与可见光图像融合［J］. 中国图象图形学报，2021， 26（12）： 2813-2825.
7	LI H， WU X-J. DenseFuse： a fusion approach to infrared and visible images［J］. IEEE Transactions on Image Processing， 2019， 28（5）： 2614-2623. 10.1109/tip.2018.2887342
8	MA J， YU W， LIANG P， et al. FusionGAN： a generative adversarial network for infrared and visible image fusion［J］. Information Fusion， 2019， 48：11-26. 10.1016/j.inffus.2018.09.004
9	ZHANG Y， LIU Y， SUN P， al er. IFCNN： a general image fusion framework based on convolutional neural network［J］. Information Fusion， 2020， 54：99-118. 10.1016/j.inffus.2019.07.011
10	MA J， XU H， JIANG J， et al. DDcGAN： a dual-discriminator conditional generative adversarial network for multi-resolution image fusion［J］. IEEE Transactions on Image Processing， 2020， 99： 4980-4994. 10.1109/tip.2020.2977573
11	XU H， MA J， LE Z， et al. FusionDN： a unified densely connected network for image fusion［C］// Proceedings of the 2020 AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 12484-1249. 10.1609/aaai.v34i07.6936
12	XU H， MA J， JIANG J， et al. U2Fusion： a unified unsupervised image fusion network［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（1）：502-518. 10.1109/tpami.2020.3012548
13	MA J， TANG L， XU M， et al. STDFusionNet： an infrared and visible image fusion network based on salient target detection［J］. IEEE Transactions on Instrumentation and Measurement， 2021， 70： 1-13. 10.1109/tim.2021.3075747
14	XU H， MA J Y. EMFusion： an unsupervised enhanced medical image fusion network［J］. Information Fusion， 2021， 76： 177-186. 10.1016/j.inffus.2021.06.001
15	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
16	VEIT A， WILBER M J， BELONGIE S. Residual networks behave like ensembles of relatively shallow networks［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. New York： ACM， 2016： 550-558. 10.48550/arXiv.1605.06431
17	HUANG G， LIU Z， PLEISS G， et al. Convolutional networks with dense connectivity［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（12）： 8704-8716. 10.1109/tpami.2019.2918284
18	TANG L， YUAN J， MA J. Image fusion in the loop of high-level vision tasks： a semantic-aware real-time infrared and visible image fusion network［J］. Information Fusion. 2022， 82： 28-42. 10.1016/j.inffus.2021.12.004
19	HA Q， WATANABE K， KARASAWA T， et al. MFNet： towards real-time semantic segmentation for autonomous vehicles with multi-spectral scenes［C］// Proceedings of the 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems . Piscataway： IEEE， 2017： 5108-5115. 10.1109/iros.2017.8206396
20	TOET A. TNO image fusion dataset［EB/OL］. ［2018-12-10］.. 10.5772/14787
21	LIU J， FAN X， HUANG Z， et al. Target-aware dual adversarial learning and a multi-scenario multi-modality benchmark to fuse infrared and visible for object detection［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 5792-5801. 10.1109/cvpr52688.2022.00571
22	MA J， CHEN C， LI C. Infrared and visible image fusion via gradient transfer and total variation minimization［J］. Information Fusion， 2016， 31： 100-109. 10.1016/j.inffus.2016.02.001
23	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. ［2022-08-10］. .

方法	SSIM	SD	PSNR/dB	EN
GFT	0.591 3	30.458 7	13.436 5	7.482 0
DDCGAN	0.675 5	28.356 0	14.089 4	6.597 3
U2Fusion	0.694 9	43.548 2	16.082 3	7.043 7
IFCNN	0.654 5	31.865 7	15.528 5	7.064 1
本文方法	0.685 1	33.479 2	17.148 2	6.975 3

方法	SSIM	SD	PSNR/dB	EN
GFT	0.591 3	30.458 7	13.436 5	7.482 0
DDCGAN	0.675 5	28.356 0	14.089 4	6.597 3
U2Fusion	0.694 9	43.548 2	16.082 3	7.043 7
IFCNN	0.654 5	31.865 7	15.528 5	7.064 1
本文方法	0.685 1	33.479 2	17.148 2	6.975 3

方法	参数量/10⁴	计算量/10⁸
U2Fusion	50.529 6	292.270 0
DDCGAN	30.822 4	248.800 0
IFCNN	15.091 2	38.727 8
本文方法	8.340 4	36.495 3

方法	参数量/10⁴	计算量/10⁸
U2Fusion	50.529 6	292.270 0
DDCGAN	30.822 4	248.800 0
IFCNN	15.091 2	38.727 8
本文方法	8.340 4	36.495 3

[1]	李向军, 王俊洪, 王诗璐, 陈金霞, 孙纪涛, 王建辉. 基于多模型并行融合网络的恶意流量检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(S2): 122-129.
[2]	何子仪, 杨燕, 张熠玲. 深度融合多视图聚类网络[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2651-2656.
[3]	王宏, 钱清, 王欢, 龙永. 融合大核注意力卷积的轻量化图像篡改定位算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2692-2699.
[4]	张涵钰, 李振波, 李蔚然, 杨普. 基于机器视觉的水产养殖计数研究综述[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2970-2982.
[5]	陈俊韬, 朱子奇. 基于多尺度特征提取与融合的图像复制-粘贴伪造检测[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2919-2924.
[6]	李校林, 杨松佳. 基于深度学习的多用户毫米波中继网络混合波束赋形[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2511-2516.
[7]	王一, 谢杰, 程佳, 豆立伟. 基于深度学习的RGB图像目标位姿估计综述[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2546-2555.
[8]	郭祥, 姜文刚, 王宇航. 基于改进Inception-ResNet的加密流量分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2471-2476.
[9]	崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.
[10]	张琨, 杨丰玉, 钟发, 曾广东, 周世健. 基于混合代码表示的源代码脆弱性检测[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2517-2526.
[11]	梁敏, 刘佳艺, 李杰. 融合迭代反馈与注意力机制的图像超分辨重建方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2280-2287.
[12]	叶坤佩, 熊熙, 丁哲. 基于领域融合和时间权重的招工推荐模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2133-2139.
[13]	岑黎彬, 李靖东, 林淳波, 王晓玲. 基于深度自回归模型的近似查询处理方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2034-2039.
[14]	郑帅, 张晓龙, 邓鹤, 任宏伟. 基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2303-2310.
[15]	拓雨欣, 薛涛. 融合指针网络与关系嵌入的三元组联合抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2116-2124.

基于密集连接的红外可见光图像融合方法

Infrared and visible light image fusion method based on dense connection

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 23

相关文章 15

编辑推荐

Metrics