基于状态信息的红外小目标跟踪方法

doi:10.11772/j.issn.1001-9081.2022050762

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (6): 1938-1942.DOI: 10.11772/j.issn.1001-9081.2022050762

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于状态信息的红外小目标跟踪方法

唐鑫, 彭博(), 滕飞

西南交通大学计算机与人工智能学院，成都 611756

收稿日期:2022-05-31 修回日期:2022-07-13 接受日期:2022-07-18 发布日期:2022-08-03 出版日期:2023-06-10
通讯作者: 彭博
作者简介:唐鑫（2000—），男，重庆人，硕士研究生，主要研究方向：目标跟踪、目标识别
彭博（1980—），女，四川成都人，副教授，博士，CCF会员，主要研究方向：图像分割、图像目标识别Email：bpeng@swjtu.edu.cn
滕飞（1984—），女，山东泰安人，副教授，博士，CCF会员，主要研究方向：大数据分析、知识图谱、并行计算。
基金资助:
中央高校基本科研业务费专项(2682021ZTPY069)

Infrared small target tracking method based on state information

Xin TANG, Bo PENG(), Fei TENG

School of Computing and Artificial Intelligence，Southwest Jiaotong University，Chengdu Sichuan 611756，China

Received:2022-05-31 Revised:2022-07-13 Accepted:2022-07-18 Online:2022-08-03 Published:2023-06-10
Contact: Bo PENG
About author:TANG Xin， born in 2000， M. S. candidate. His research interests include target tracking， target recognition.
TENG Fei， born in 1984， Ph. D.， associate professor. Her research interests include big data analysis， knowledge graph， parallel computing.
Supported by:
Fundamental Research Funds for Central Universities(2682021ZTPY069)

摘要/Abstract

摘要：

红外小目标所占像素较少，且缺乏颜色、纹理、形状等特征，因此难以有效地跟踪它们。针对这一问题，提出了一种基于状态信息的红外小目标跟踪方法。首先，将待跟踪小目标局部区域的目标、背景和干扰物进行编码以得到连续帧之间密集的局部状态信息；其次，将当前帧和上一帧的特征信息输入分类器，得到分类得分；然后，融合状态信息和分类得分，从而得到最终置信度并确定待跟踪小目标的中心位置；最后，更新状态信息并在连续帧之间传播，在此之后利用传播的状态信息完成对整个序列中红外小目标的跟踪。在DIRST（Dataset for Infrared detection and tRacking of dim-Small aircrafT）数据集上评估所提方法。实验结果显示，所提方法针对红外小目标的跟踪召回率达到了96.2%，精确率达到了97.3%，相较于目前最优秀的通过跟踪方法KeepTrack召回率和精确率分别提高了3.7%和3.7%。这表明所提方法在复杂的背景与干扰下能有效完成针对红外小目标的跟踪。

关键词: 红外小目标, 目标跟踪, 状态信息, 状态传播, 连续序列

Abstract:

Infrared small targets occupy few pixels and lack features such as color， texture and shape， so it is difficult to track them effectively. To solve this problem， an infrared small target tracking method based on state information was proposed. Firstly， the target， background and distractors in the local area of the small target to be detected were encoded to obtain dense local state information between consecutive frames. Secondly， feature information of the current and the previous frames were input into the classifier to obtain the classification score. Thirdly， the state information and the classification score were fused to obtain the final degree of confidence and determine the center position of the small target to be detected. Finally， the state information was updated and propagated between the consecutive frames. After that， the propagated state information was used to track the infrared small target in the entire sequences. The proposed method was validated on an open dataset DIRST （Dataset for Infrared detection and tRacking of dim-Small aircrafT）. Experimental results show that for infrared small target tracking， the recall of the proposed method reaches 96.2%， and the precision of the method reaches 97.3%， which are 3.7% and 3.7% higher than those of the current best tracking method KeepTrack. It proves that the proposed method can effectively complete the tracking of small infrared targets under complex background and interference.

Key words: infrared small target, target tracking, state information, state propagation, continuous sequence

中图分类号:

TP391.41

唐鑫, 彭博, 滕飞. 基于状态信息的红外小目标跟踪方法[J]. 计算机应用, 2023, 43(6): 1938-1942.

Xin TANG, Bo PENG, Fei TENG. Infrared small target tracking method based on state information[J]. Journal of Computer Applications, 2023, 43(6): 1938-1942.

图/表 7

图1 本文方法的整体结构

Fig. 1 Overall structure of the proposed method

图2 分类器C的网络结构

Fig. 2 Network structure of classifier C

图3 融合模块M中分数融合部分的网络结构

Fig.3 Network structure of score fusion part in fusion module M

图4 融合模块M中状态更新部分的网络结构

Fig.4 Network structure of state update part in fusion module M

表1 不同方法的评估结果 (%)

Tab. 1 Evaluation results of different methods

方法	R	P	F₁
YOLOv3	86.2	88.4	87.3
ISTDet	92.2	93.0	92.6
SSD-ST-1+APF	89.8	95.1	92.4
SSD-ST-2+APF	90.1	95.0	92.5
KeepTrack	92.5	93.6	93.0
本文方法	96.2	97.3	96.7

图5 红外小目标真实轨迹与本文方法跟踪的轨迹对比

Fig.5 Comparison between real trajectories and trajectories tracked by the proposed method for infrared small targets

表2 消融实验结果 (%)

Tab. 2 Ablation experiment results

基本	上一帧信息	传播模块	屏蔽层	R	P	F₁
√		√	√	93.2	94.8	94.0
√	√		√	85.6	89.4	87.4
√	√	√		92.4	97.2	94.7
√	√	√	√	96.1	97.3	96.7

参考文献 23

1	高捷. 一种自适应双门限与KLT融合的目标跟踪方法［J］. 小型微型计算机系统， 2020， 41（5）：946-951. 10.3969/j.issn.1000-1220.2020.05.008
	GAO J. Moving target tracking method based on adaptive double-threshold and KLT ［J］. Journal of Chinese Computer Systems， 2020， 41（5）：946-951. 10.3969/j.issn.1000-1220.2020.05.008
2	石勇，韩崇昭. 自适应UKF算法在目标跟踪中的应用［J］.自动化学报， 2011， 37（6）：755-759. 10.3724/SP.J.1004.2011.00755
	SHI Y， HAN C Z. Adaptive UKF method with applications to target tracking［J］. Acta Automatica Sinica， 2011， 37（6）：755-759. 10.3724/SP.J.1004.2011.00755
3	温宗周，程少康，李丽敏，等. 改进粒子滤波与均值漂移特征融合的目标跟踪［J］. 计算机工程与设计， 2019， 40（8）：2306-2311， 2401. 10.16208/j.issn1000-7024.2019.08.034
	WEN Z Z， CHENG S K， LI L M， et al. Improved particle filter and mean shift feature fusion for target tracking ［J］. Computer Engineering and Design， 2019， 40（8）：2306-2311， 2401. 10.16208/j.issn1000-7024.2019.08.034
4	王旭东，王屹炜，闫贺. 背景抑制直方图模型的连续自适应均值漂移跟踪算法［J］. 电子与信息学报， 2019， 41（6）：1480-1487. 10.11999/JEIT180588
	WANG X D， WANG Y W， YAN H. Continuously adaptive mean-shift tracking algorithm with suppressed background histogram model［J］. Journal of Electronics and Information Technology， 2019， 41（6）：1480-1487. 10.11999/JEIT180588
5	BABENKO B， YANG M H， BELONGIE S. Visual tracking with online multiple instance learning［C］// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2009：983-990. 10.1109/cvpr.2009.5206737
6	SAFFARI A， LEISTNER C， SANTNER J， et al. On-line random forests ［C］// Proceedings of the IEEE 12th International Conference on Computer Vision Workshops. Piscataway： IEEE， 2009：1393-1400. 10.1109/iccvw.2009.5457447
7	LIU Y G， LEVINE M D. Multi-path region-based convolutional neural network for accurate detection of unconstrained “hard faces”［C］// Proceedings of the 14th Conference on Computer and Robot Vision. Piscataway： IEEE， 2017：183-190. 10.1109/crv.2017.20
8	LI B， YAN J J， WU W， et al. High performance visual tracking with Siamese region proposal network ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8971-8980. 10.1109/cvpr.2018.00935
9	胡阳光，肖明清，张凯，等. 传统特征和深度特征融合的红外空中目标跟踪［J］. 系统工程与电子技术， 2019， 41（12）：2675-2683. 10.3969/j.issn.1001
	HU Y G， XIAO M Q， ZHANG K， et al. Infrared aerial target tracking based on fusion of traditional feature and depth feature ［J］. Systems Engineering and Electronics， 2019， 41（12）：2675-2683. 10.3969/j.issn.1001
10	GAZZALEY A， NOBRE A C. Top-down modulation： bridging selective attention and working memory［J］. Trends in Cognitive Sciences， 2012， 16（2）：129-135. 10.1016/j.tics.2011.11.014
11	张雯雯，韩裕生. 基于非局部自相似性的低秩稀疏图像去噪［J］. 计算机应用， 2018， 38（9）： 2696-2700， 2746. 10.11772/j.issn.1001-9081.2018020310
	ZHANG W W， HAN Y S. Nonlocal self-similarity based low-rank sparse image denoising ［J］. Journal of Computer Applications， 2018， 38（9）： 2696-2700， 2746. 10.11772/j.issn.1001-9081.2018020310
12	李杏峰，黄玉清，任珍文. 联合低秩稀疏的多核子空间聚类算法［J］. 计算机应用， 2020， 40（6）： 1648-1653. 10.11772/j.issn.1001-9081.2019111991
	LI X F， HUANG Y Q， REN Z W. Joint low-rank and sparse multiple kernel subspace clustering algorithm［J］. Journal of Computer Applications， 2020， 40（6）： 1648-1653. 10.11772/j.issn.1001-9081.2019111991
13	回丙伟，宋志勇，范红旗，等. 地/空背景下红外图像弱小飞机目标检测跟踪数据集［J］. 中国科学数据， 2020， 5（3）：286-297.
	HUI B W， SONG Z Y， FAN H Q， et al. A dataset for infrared detection and tracking of dim-small aircraft targets underground/air background ［J］. China Scientific Data， 2020， 5（3）：286-297.
14	JIANG B R， LUO R X， MAO J Y， et al. Acquisition of localization confidence for accurate object detection［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11218. Cham： Springer， 2018：816-832.
15	BALLAS N， YAO L， PAL C， et al. Delving deeper into convolutional networks for learning video representations［EB/OL］. （2016-03-01）［2021-10-12］. .
16	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016：770-778. 10.1109/cvpr.2016.90
17	BHAT G， DANELLJAN M， van GOOL L， et al. Learning discriminative model prediction for tracking ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 6181-6190. 10.1109/iccv.2019.00628
18	BHAT G， DANELLJAN M， van GOOL L， et al. Know your surroundings： exploiting scene information for object tracking ［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12368. Cham： Springer， 2020： 205-221.
19	DING L H， XU X， CAO Y， et al. Detection and tracking of infrared small target by jointly using SSD and pipeline filter ［J］. Digital Signal Processing， 2020， 110： No.102949. 10.1016/j.dsp.2020.102949
20	REDMON J， FARHADI A. YOLOv3： an incremental improvement［EB/OL］. （2018-04-08）［2021-10-12］.. 10.1109/cvpr.2017.690
21	MAYER C， DANELLJAN M， PAUDEL D P， et al. Learning target candidate association to keep track of what not to track ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 13424-13434. 10.1109/iccv48922.2021.01319
22	JU M R， LUO J N， LIU G Q， et al. ISTDet： an efficient end-to-end neural network for infrared small target detection ［J］. Infrared Physics and Technology， 2021， 114： No.103659. 10.1016/j.infrared.2021.103659
23	DING L H， XU X， CAO Y， et al. Detection and tracking of infrared small target by jointly using SSD and pipeline filter ［J］. Digital Signal Processing， 2021， 110： No.102949. 10.1016/j.dsp.2020.102949

[1]	姜文涛, 李宛宣, 张晟翀. 非线性时间一致性的相关滤波目标跟踪[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2558-2570.
[2]	孙子文, 钱立志, 杨传栋, 高一博, 陆庆阳, 袁广林. 基于Transformer的视觉目标跟踪方法综述[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1644-1654.
[3]	崔晨辉, 蔺素珍, 李大威, 禄晓飞, 武杰. 基于孪生网络和Transformer的红外弱小目标跟踪方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 563-571.
[4]	廖存燚, 郑毅, 刘玮瑾, 于欢, 刘守印. 自动驾驶环境感知多任务去耦-融合算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 424-431.
[5]	王利, 宣士斌, 秦续阳, 李紫薇. 基于双解码器的Transformer多目标跟踪方法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1919-1929.
[6]	赵元龙, 单玉刚, 袁杰, 赵康迪. 基于实例分割与毕达哥拉斯模糊决策的目标跟踪[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1930-1937.
[7]	王逸, 裴生雷, 王煜. 基于CSI和K-means-SVR的多指纹库室内定位方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1636-1640.
[8]	张广耀, 宋纯锋. 融合人体全身表观特征的行人头部跟踪模型[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1372-1377.
[9]	窦光义, 魏发南, 邱创一, 巢建树. 基于注意力自相关机制的跟踪外观特征[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1248-1254.
[10]	王梦亭, 杨文忠, 武雍智. 基于孪生网络的单目标跟踪算法综述[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 661-673.
[11]	公海涛, 陈志华, 盛斌, 祝冰艳. 基于孪生网络和Transformer的小目标跟踪算法SiamTrans[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3733-3739.
[12]	薛远亮, 金国栋, 谭力宁, 许剑锟. 基于像素分类的多尺度无人机航拍目标旋转跟踪算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2239-2247.
[13]	庄屹, 赵海涛. 面向三维点云单目标跟踪的提案聚合网络[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1407-1416.
[14]	黄勇康, 梁美玉, 王笑笑, 陈徵, 曹晓雯. 基于深度时空残差卷积神经网络的课堂教学视频中多人课堂行为识别[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 736-742.
[15]	朱文球, 邹广, 曾志高. 融合层次特征和混合注意力的目标跟踪算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 833-843.

基于状态信息的红外小目标跟踪方法

Infrared small target tracking method based on state information

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 23

相关文章 15

编辑推荐

Metrics