基于信息补偿的红外弱小目标检测方法

doi:10.11772/j.issn.1001-9081.2024010102

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (1): 284-291.DOI: 10.11772/j.issn.1001-9081.2024010102

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于信息补偿的红外弱小目标检测方法

杨博然¹, 蔺素珍¹(), 李大威², 禄晓飞³, 崔晨辉¹

^1.中北大学计算机科学与技术学院，太原 030051
^2.中北大学电气与控制工程学院，太原 030051
^3.酒泉卫星发射中心，甘肃酒泉 735000

收稿日期:2024-01-29 修回日期:2024-03-21 接受日期:2024-03-22 发布日期:2024-05-09 出版日期:2025-01-10
通讯作者: 蔺素珍
作者简介:杨博然（1999—），男，山西临汾人，硕士研究生，CCF会员，主要研究方向：红外弱小目标检测；
李大威（1980—），男，河北衡水人，副教授，博士，主要研究方向：模式识别、机器学习、图像处理；
禄晓飞（1981—），男，甘肃酒泉人，博士，主要研究方向：测量数据处理；
崔晨辉（1998—），男，山西晋城人，硕士研究生，CCF会员，主要研究方向：图像处理、目标跟踪。
基金资助:
山西省基础研究计划项目(202303021211147);山西省专利转化专项计划项目(202302001)

Infrared small target detection method based on information compensation

Boran YANG¹, Suzhen LIN¹(), Dawei LI², Xiaofei LU³, Chenhui CUI¹

^1.College of Data Science and Technology，North University of China，Taiyuan Shanxi 030051，China
^2.School of Electrical and Control Engineering，North University of China，Taiyuan Shanxi 030051，China
^3.Jiuquan Satellite Launch Center，Jiuquan Gansu 735000，China

Received:2024-01-29 Revised:2024-03-21 Accepted:2024-03-22 Online:2024-05-09 Published:2025-01-10
Contact: Suzhen LIN
About author:YANG Boran， born in 1999， M. S. candidate. His research interests include infrared small target detection.
LI Dawei， born in 1980， Ph. D.， associate professor. His research interests include pattern recognition， machine learning， image processing.
LU Xiaofei， born in 1981， Ph. D. His research interests include measurement data processing.
CUI Chenhui， born in 1998， M. S. candidate. His research interests include image processing， target tracking.
Supported by:
Fundamental Research Program of Shanxi Province(202303021211147);Shanxi Province Patent Transformation Special Program(202302001)

摘要/Abstract

摘要：

针对红外弱小目标容易在网络迭代过程中损失纹理细节信息，从而导致目标定位和轮廓分割的准确性下降的问题，提出一种基于信息补偿的红外弱小目标检测方法。首先，利用图像特征提取（IFE）模块编码红外源图像的浅层细节及深层语义特征；其次，构建多级信息补偿（MIC）模块通过聚合相邻级别的特征对编码阶段下采样后的特征进行信息补偿；随后，引入全局目标响应（GTR）模块联合特征图的全局上下文信息对卷积局部性的限制进行补偿；最后，构建非对称交叉融合（ACF）模块对浅层和深层特征进行融合，以实现目标解码时纹理信息与位置信息的保留，进而完成对红外弱小目标的检测。在公开的NUAA-SIRST （Nanjing University of Aeronautics and Astronautics-Single-frame InfraRed Small Target）和NUDT-SIRST （National University of Defense Technology-Single-frame InfraRed Small Target）混合数据集上训练和测试的实验结果表明，与UIUNet （U-Net in U-Net Network）、LSPM （Local Similarity Pyramid Modules）和DNANet （Dense Nested Attention Network）等方法相比，所提方法在交并比（IoU）上分别提高了9.2、8.9和5.5个百分点，在F1分数（F1-Score）上分别提高了6.0、5.4和3.1个百分点。以上表明所提方法对红外复杂背景图像中的弱小目标可以实现准确检测和有效分割。

关键词: 目标检测, 红外弱小目标, 信息补偿, 全局目标响应, 非对称交叉融合

Abstract:

An infrared small target method based on information compensation was proposed to address the problem that infrared small targets are prone to losing texture detail information during network iteration， which decreased accuracy of target localization and contour segmentation. Firstly， Image Feature Extraction （IFE） module was used to encode shallow details and deep semantic features of infrared image. Secondly， a Multi-level Information Compensation （MIC） module was constructed to perform information compensation to down-sampled features in the encoding stage by aggregating features from adjacent levels. Thirdly， Global Target Response （GTR） module was introduced to compensate the limitation of convolutional locality by incorporating global contextual information of feature map. Finally， Asymmetric Cross-Fusion （ACF） module was constructed to fuse shallow and deep features， thereby preserving texture and positional information during target decoding， thus achieving detection of infrared small targets. Experimental results of training and testing on publicly available NUAA-SIRST （Nanjing University of Aeronautics and Astronautics-Single-frame InfraRed Small Target） and NUDT-SIRST （National University of Defense Technology-Single-frame InfraRed Small Target） mixed datasets show that compared to methods such as UIUNet （U-Net in U-Net Network）， LSPM （Local Similarity Pyramid Modules）， and DNANet （Dense Nested Attention Network）， the proposed method achieves improvements of 9.2， 8.9， and 5.5 percentage points in Intersection over Union （IoU）， respectively， and 6.0， 5.4， and 3.1 percentage points in F1-Score， respectively. The above demonstrates that the proposed method enables accurate detection and effective segmentation of small targets in complex infrared background images.

Key words: target detection, infrared small target, information compensation, Global Target Response (GTR), Asymmetric Cross-Fusion (ACF)

中图分类号:

TP751.1

杨博然, 蔺素珍, 李大威, 禄晓飞, 崔晨辉. 基于信息补偿的红外弱小目标检测方法[J]. 计算机应用, 2025, 45(1): 284-291.

Boran YANG, Suzhen LIN, Dawei LI, Xiaofei LU, Chenhui CUI. Infrared small target detection method based on information compensation[J]. Journal of Computer Applications, 2025, 45(1): 284-291.

图/表 10

图1 本文方法的整体结构

Fig. 1 Overall structure of method in this article

图2 图像特征提取模块的流程

Fig. 2 Flowchart of image feature extraction module

图3 多级信息补偿模块的流程

Fig. 3 Flowchart of multi-level information compensation module

图4 全局目标响应模块的流程

Fig. 4 Flowchart of global target response module

图5 非对称交叉融合模块的流程

Fig. 5 Flowchart of asymmetric cross-fusion module

图6 不同方法对各类复杂背景干扰的红外弱小目标的检测结果对比

Fig. 6 Comparison of infrared small target detection results of different methods with various complex background interferences

表1 不同方法对各类复杂背景红外图像弱小目标检测结果的指标对比

Tab. 1 Index comparison of detection results of small targets in various complex background infrared images using different methods

方法	SCRG	BSF	IoU	精确率	召回率	F1-Score
ACM	79.917	12.284	0.545	0.633	0.774	0.670
LSPM	99.631	13.218	0.582	0.708	0.778	0.713
DNANet	94.218	37.874	0.616	0.784	0.735	0.736
AGPCNet	117.454	34.304	0.577	0.765	0.695	0.693
UIUNet	90.765	14.363	0.579	0.687	0.783	0.707
FC3Net	82.894	16.808	0.477	0.592	0.691	0.598
ABCNet	101.484	26.906	0.556	0.725	0.699	0.675
本文方法	141.997	49.653	0.671	0.814	0.772	0.767

图7 不同复杂背景类型下本文方法与对比方法的ROC曲线对比

Fig. 7 Comparison of ROC curves between proposed method and comparison method under different complex background types

表2 不同方法在IRSTD-1K数据集上测试结果的定量对比

Tab. 2 Quantitative comparison of test results of different methods on IRSTD-1K dataset

方法	SCRG	BSF	IoU	精确率	召回率	F1-Score
ACM	89.171	23.662	0.312	0.370	0.713	0.426
LSPM	130.740	25.723	0.368	0.502	0.607	0.492
DNANet	139.392	29.772	0.466	0.603	0.694	0.584
AGPCNet	130.432	30.064	0.434	0.526	0.725	0.563
UIUNet	134.929	28.845	0.374	0.479	0.693	0.499
FC3Net	115.887	22.688	0.378	0.459	0.682	0.501
ABCNet	110.203	18.862	0.395	0.477	0.727	0.517
本文方法	146.711	32.802	0.486	0.612	0.714	0.612

表3 不同模块组合检测结果的指标对比

Tab. 3 Index comparison of detection results of different module combinations

模块组合	SCRG	BSF	IoU	精确率	召回率	F1‑Score
无	79.798	16.322	0.483	0.658	0.668	0.617
MIC	112.034	30.426	0.583	0.754	0.712	0.705
GTR	108.242	34.390	0.510	0.684	0.682	0.634
ACF	128.448	56.717	0.525	0.706	0.681	0.644
MIC+GTR	117.965	43.592	0.625	0.801	0.733	0.742
MIC+ACF	122.643	46.284	0.605	0.760	0.747	0.721
GTR+ACF	110.752	30.813	0.558	0.706	0.710	0.662
MIC+GTR+ACF	141.997	49.653	0.671	0.814	0.772	0.767

参考文献 23

1	李俊宏，张萍，王晓玮，等.红外弱小目标检测算法综述［J］.中国图象图形学报， 2020， 25（9）： 1739-1753.
	LI J H， ZHANG P， WANG X W， et al. Infrared small-target detection algorithms： a survey ［J］. Journal of Image and Graphics， 2020， 25（9）： 1739-1753.
2	赵兴科，李明磊，张弓，等.基于显著图融合的无人机载热红外图像目标检测方法［J］.自动化学报， 2021， 47（9）： 2120-2131.
	ZHAO X K， LI M L， ZHANG G， et al. Object detection method based on saliency map fusion for UAV-borne thermal images ［J］. Acta Automatica Sinica， 2021， 47（9）： 2120-2131.
3	崔晨辉，蔺素珍，李大威，等.基于孪生网络和Transformer的红外弱小目标跟踪方法［J］.计算机应用， 2024， 44（2）： 563-571.
	CUI C H， LIN S Z， LI D W， et al. Infrared dim small target tracking method based on Siamese network and Transformer ［J］. Journal of Computer Applications， 2024， 44（2）： 563-571.
4	LI Y， LI Z， LI J， et al. Robust small infrared target detection using weighted adaptive ring top-hat transformation ［J］. Signal Processing， 2024， 217： No.109339.
5	ZHANG M， ZHANG R， YANG Y， et al. ISNet： shape matters for infrared small target detection ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 867-876.
6	DENG L， ZHANG J， XU G， et al. Infrared small target detection via adaptive M-estimator ring top-hat transformation ［J］. Pattern Recognition， 2021， 112： No.107729.
7	蔺素珍，张海松，禄晓飞，等. RBNSM：一种复杂背景下红外弱小目标检测新方法［J］.红外技术， 2022， 44（7）： 667-675.
	LIN S Z， ZHANG H S， LU X F， et al. RBNSM： a new method for infrared dim and small target detection in complex backgrounds ［J］. Infrared Technology， 2022， 44（7）： 667-675.
8	ZHANG T， PENG Z， WU H， et al. Infrared small target detection via self-regularized weighted sparse model ［J］. Neurocomputing， 2021， 420： 124-148.
9	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
10	WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7： trainable bag-of-freebies sets new state-of-the-art for real-time object detectors ［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 7464-7475.
11	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 21-37.
12	DAI Y， WU Y， ZHOU F， et al. Asymmetric contextual modulation for infrared small target detection ［C］// Proceedings of the 2021 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2021： 949-958.
13	HUANG L， DAI S， HUANG T， et al. Infrared small target segmentation with multiscale feature representation ［J］. Infrared Physics and Technology， 2021， 116： No.103755.
14	LI B， XIAO C， WANG L， et al. Dense nested attention network for infrared small target detection ［J］. IEEE Transactions on Image Processing， 2023， 32： 1745-1758.
15	WU X， HONG D， CHANUSSOT J. UIU-Net： U-Net in U-Net for infrared small object detection ［J］. IEEE Transactions on Image Processing， 2023， 32： 364-376.
16	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.
17	CAO Y， XU J， LIN S， et al. GCNet： non-local networks meet squeeze-excitation networks and beyond ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision Workshops. Piscataway： IEEE， 2019： 1971-1980.
18	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale ［EB/OL］. ［2023-11-22］. .
19	HU J， SHEN L， SUN G. Squeeze-and-excitation networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.
20	LIU F， GAO C， CHEN F， et al. Infrared small and dim target detection with Transformer under complex backgrounds ［J］. IEEE Transactions on Image Processing， 2023， 32： 5921-5932.
21	ZHANG T， LI L， CAO S， et al. Attention-guided pyramid context networks for detecting infrared small target under complex background ［J］. IEEE Transactions on Aerospace and Electronic Systems， 2023， 59（4）： 4250-4261.
22	ZHANG M， YUE K， ZHANG J， et al. Exploring feature compensation and cross-level correlation for infrared small target detection ［C］// Proceedings of the 30th ACM International Conference on Multimedia. New York： ACM， 2022： 1857-1865.
23	PAN P， WANG H， WANG C， et al. ABC： attention with bilinear correlation for infrared small target detection ［C］// Proceedings of the 2023 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2023： 2381-2386.

[1]	刘赏, 周煜炜, 代娆, 董林芳, 刘猛. 融合注意力和上下文信息的遥感图像小目标检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 292-300.
[2]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[3]	张英俊, 李牛牛, 谢斌红, 张睿, 陆望东. 课程学习指导下的半监督目标检测框架[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2326-2333.
[4]	李烨恒, 罗光圣, 苏前敏. 基于改进YOLOv5的Logo检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2580-2587.
[5]	姬张建, 杜娜. 基于改进VariFocalNet的微小目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2200-2207.
[6]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[7]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.
[8]	刘越, 刘芳, 武奥运, 柴秋月, 王天笑. 基于自注意力机制与图卷积的3D目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1972-1977.
[9]	邓亚平, 李迎江. YOLO算法及其在自动驾驶场景中目标检测综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1949-1958.
[10]	耿焕同, 刘振宇, 蒋骏, 范子辰, 李嘉兴. 基于改进YOLOv8的嵌入式道路裂缝检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1613-1618.
[11]	李鸿天, 史鑫昊, 潘卫国, 徐成, 徐冰心, 袁家政. 融合多尺度和注意力机制的小样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1437-1444.
[12]	宋霄罡, 张冬冬, 张鹏飞, 梁莉, 黑新宏. 面向复杂施工环境的实时目标检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1605-1612.
[13]	陈天华, 朱家煊, 印杰. 基于注意力机制的鸟类识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1114-1120.
[14]	李雨秋, 侯利萍, 薛健, 吕科, 王泳. 基于内容解译的遥感图像推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 722-731.
[15]	蒋占军, 吴佰靖, 马龙, 廉敬. 多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 938-944.

基于信息补偿的红外弱小目标检测方法

Infrared small target detection method based on information compensation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 23

相关文章 15

编辑推荐

Metrics