空中加油场景下的目标联合检测跟踪算法

doi:10.11772/j.issn.1001-9081.2021071286

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (9): 2893-2899.DOI: 10.11772/j.issn.1001-9081.2021071286

• 多媒体计算与计算机仿真 • 上一篇下一篇

空中加油场景下的目标联合检测跟踪算法

张怡(), 孙永荣, 赵科东, 李华, 曾庆化

南京航空航天大学导航研究中心，南京 210016

收稿日期:2021-07-16 修回日期:2021-09-07 接受日期:2021-09-14 发布日期:2021-09-27 出版日期:2022-09-10
通讯作者: 张怡
作者简介:孙永荣（1969—），男，江苏海安人，教授，博士，主要研究方向：惯性导航与组合导航、视觉导航、航空电子系统及控制；
赵科东（1993—），男，浙江诸暨人，博士研究生，主要研究方向：视觉导航；
李华（1996—），男，江苏南通人，硕士研究生，主要研究方向：视觉导航；
曾庆化（1979—），男，江苏连云港人，教授，博士，主要研究方向：惯性/卫星/视觉/无线传感器的定位与导航、多信息数据智能融合。

Joint detection and tracking algorithm of target in aerial refueling scenes

Yi ZHANG(), Yongrong SUN, Kedong ZHAO, Hua LI, Qinghua ZENG

Navigation Research Center，Nanjing University of Aeronautics and Astronautics，Nanjing Jiangsu 210016，China

Received:2021-07-16 Revised:2021-09-07 Accepted:2021-09-14 Online:2021-09-27 Published:2022-09-10
Contact: Yi ZHANG
About author:SUN Yongrong， born in 1969， Ph. D.， professor. His research interests include inertial navigation and integrated navigation， visual navigation， avionics system and control.
ZHAO Kedong， born in 1993， Ph. D. candidate. His research interests include visual navigation.
LI Hua， born in 1996， M. S. candidate. His research interests include visual navigation.
ZENG Qinghua， born in 1979， Ph. D.， professor. His research interests include inertial/satellite/visual/wireless sensor positioning and navigation， intelligent fusion of multi-information data.

摘要/Abstract

摘要：

针对自主空中加油对接阶段的目标跟踪问题，提出一种空中加油场景下的目标联合检测跟踪算法。该算法采用检测跟踪一体化的CenterTrack网络实现对锥套的追踪，而针对计算量较大、训练耗时过长的问题，分别从模型设计与网络优化两方面改善该网络。首先，在跟踪器中引入膨胀卷积组，以在不改变感受野大小的前提下使得网络轻量化；同时，将输出部分的卷积层替换为深度可分离卷积层，从而减少网络的参数量与计算量；然后，对网络进行进一步的优化，即将随机梯度下降（SGD）法与Adam算法相结合，使网络更快收敛至稳定状态；最后，利用真实的空中加油场景视频与地面模拟视频制作相应格式的数据集，并将其用于实验验证。分别在自制的锥套数据集和MOT17公共数据集上进行了训练与测试，证实了提出算法的有效性。相较于原CenterTrack网络，改进的网络Tiny-CenterTrack减少了约48.6%的训练时长，并在实时性方面提升了8.8%。实验结果表明，改进后的网络在不损失网络性能的前提下可有效节省计算资源并在一定程度上提升实时性。

关键词: 空中加油, 检测跟踪一体化, 网络轻量化, 膨胀卷积, 深度可分离卷积, 网络优化

Abstract:

Focusing on the target tracking problem in the docking stage of autonomous aerial refueling， a joint detection and tracking algorithm of target in aerial refueling scenes was proposed. In the algorithm， CenterTrack network with integrated detection and tracking was adopted to track the drogue. In view of the large computational cost and long training time， this network was improved from two aspects： model design and network optimization. Firstly， dilated convolution group was introduced into the tracker to make the network weight lighter without changing the size of the receptive field. At the same time， the convolutional layer of the output part was replaced with depthwise separable convolutional layer to reduce the network parameters and computational cost. Then， the network was further optimized to make it converge to a stable state faster by combining Stochastic Gradient Descent （SGD） method with Adaptive moment estimation （Adam） algorithm. Finally， videos of real-world aerial refueling scenes and simulations on the ground were made into dataset with the corresponding format for experimental verification. The training and testing were carried out on the self-built drogue dataset and MOT17 （Multiple Object Tracking 17） public dataset respectively， and the effectiveness of the proposed algorithm was verified. Compared to the original CenterTrack network， the improved network Tiny-CenterTrack reduces training time by about 48.6% and improves the real-time performance by 8.8%. Experimental results show that the improved network can effectively save the computing resources and improve the real-time performance to a certain extent without the loss of network performance.

Key words: aerial refueling, integration of detection and tracking, network lightweight, dilated convolution, depthwise separable convolution, network optimization

中图分类号:

TP391.41

张怡, 孙永荣, 赵科东, 李华, 曾庆化. 空中加油场景下的目标联合检测跟踪算法[J]. 计算机应用, 2022, 42(9): 2893-2899.

Yi ZHANG, Yongrong SUN, Kedong ZHAO, Hua LI, Qinghua ZENG. Joint detection and tracking algorithm of target in aerial refueling scenes[J]. Journal of Computer Applications, 2022, 42(9): 2893-2899.

图/表 17

图1 CenterTrack网络框架

Fig. 1 Framework of CenterTrack network

图2 膨胀卷积

Fig.2 Dilated convolution

图3 改进前后的网络结构对比

Fig.3 Comparison of network structure before and after improvement

图4 标准卷积与深度可分离卷积对比

Fig.4 Comparison of standard convolution and depthwise separable convolution

图5 不同优化函数下的损失函数曲线

Fig.5 Loss function curves with different optimization functions

图6 不同优化函数下的成功率曲线对比

Fig.6 Comparison of success rate curves with different optimization functions

图7 不同优化函数下的准确率曲线对比

Fig.7 Comparison of accuracy curves with different optimization functions

图8 部分锥套样本示意图

Fig.8 Schematic diagram of some drogue samples

图9 算法实现效果

Fig.9 Effect of algorithm implementation

图10 锥套目标位置变化

Fig.10 Drogue target position change

图11 改进前后的模型损失函数曲线对比

Fig.11 Comparison of loss function curves before and after model optimization

图12 改进前后模型的成功率曲线对比

Fig.12 Comparison of success rate curves before and after model optimization

图13 改进前后模型的准确率曲线对比

Fig.13 Comparison of accuracy curves before and after model optimization

图14 两种算法处理时间对比

Fig. 14 Processing time comparison of two algorithms

表1 MOT17数据集上的部分评估指标

Tab.1 Part of evaluation indicators on MOT17 dataset

指标	具体说明
Rcll	召回率（Recall）
Prcn	精确率（Precision）
MOTA	跟踪的准确度（Multi-Object Tracking Accuracy）
IDF1	识别精度和识别召回率的调和平均（ID F1 score）
MT	命中的轨迹占总轨迹的占比（Mostly Tracked targets），一般选取80%作为基准值
ML	丢失的轨迹占总轨迹的占比（Mostly Lost targets），一般选取20%作为基准值
FP	误检的总数量（False Positives）
FN	漏检的总数量（False Negatives）
IDs	ID改变的总数量（IDentity Switches）

表2 MOT17-FRCNN数据集上的评估结果对比

Tab.2 Comparison of evaluation results on MOT17-FRCNN dataset

网络	Rcll/%	Prcn/%	MOTA/%	IDF1/%	MT/%	ML/%	FP	FN	IDs
CenterTrack	71.60	94.10	66.10	64.20	41.30	21.20	2 442	15 286	528
Tiny-CenterTrack	71.60	92.50	64.40	66.40	37.80	16.20	3 105	15 326	748

表3 MOT17数据集上的评估结果对比

Tab.3 Comparison of evaluation results on MOT17 dataset

网络	MOTA/%	IDF1/%	MT/%	ML/%	IDs
CenterTrack	61.50	59.60	26.40	31.90	2 583
Tracktor v2	56.50	55.10	21.10	35.30	3 763
FFT	56.50	51.00	26.20	26.70	5 672
MPNTrack	55.70	59.10	27.20	34.40	1 433
LSST17	54.70	62.30	20.40	40.10	1 243
Tracktor	53.50	52.30	19.50	36.60	2 072
MOTDT	50.90	52.70	17.50	35.70	2 474
Tiny-CenterTrack（public）	62.30	64.80	33.20	22.10	1 545
CenterTrack（private）	67.80	64.70	34.60	24.60	3 039
Tiny-CenterTrack（private）	64.20	66.70	33.60	20.10	1 938

参考文献 18

1	THOMAS P R， BHANDARI U， BULLOCK S， et al. Advances in air to air refuelling［J］. Progress in Aerospace Sciences， 2014， 71： 14-35. 10.1016/j.paerosci.2014.07.001
2	全权，魏子博，高俊，等. 软管式自主空中加油对接阶段中的建模与控制综述［J］. 航空学报， 2014， 35（9）： 2390-2410.
	QUAN Q， WEI Z B， GAO J， et al. A survey on modeling and control problems for probe and drogue autonomous aerial refueling at docking stage［J］. Acta Aeronautica et Astronautica Sinica， 2014， 35（9）： 2390-2410.
3	黄斌，孙永荣，杨博文，等. 迭代最小二乘椭圆拟合的锥套图像检测与跟踪［J］. 中国图象图形学报， 2014， 19（8）： 1202-1209. 10.11834/jig.20140812
	HUANG B， SUN Y R， YANG B W， et al. Drogue image detecting and tracking based on iterative least squares ellipse fitting［J］. Journal of Image and Graphics， 2014， 19（8）： 1202-1209. 10.11834/jig.20140812
4	BEWLEY A， GE Z Y， OTT L， et al. Simple online and realtime tracking［C］// Proceedings of the 2016 IEEE International Conference on Image Processing. Piscataway： IEEE， 2016： 3464-3468. 10.1109/icip.2016.7533003
5	XU J R， CAO Y， ZHANG Z， et al. Spatial-temporal relation networks for multi-object tracking［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 3987-3997. 10.1109/iccv.2019.00409
6	ZHOU X Y， KOLTUN V， KRÄHENBÜHL P. Tracking objects as points［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12349. Cham： Springer， 2020： 474-490.
7	王品学，张绍兵，成苗，等. 基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法［J］. 计算机应用， 2022， 42（2）： 638-645.
	WANG P X， ZHANG S B， CHENG M， et al. Coin surface defect detection algorithm based on deformable convolution and adaptive spatial feature fusion［J］. Journal of Computer Applications， 2022， 42（2）： 638-645.
8	余文勇，张阳，姚海明，等. 基于轻量化重构网络的表面缺陷视觉检测［J/OL］. 自动化学报（2020-11-16）［2021-07-15］. .
	YU W Y， ZHANG Y， YAO H M， et al. Visual inspection of surface defects based on lightweight reconstruction network［J/OL］. Acta Automatica Sinica （2020-11-16）［2021-07-15］. .
9	梁峰，董名，田志超，等. 面向轻量化神经网络的模型压缩与结构搜索［J］. 西安交通大学学报， 2020， 54（11）： 106-112. 10.7652/xjtuxb202011013
	LIANG F， DONG M， TIAN Z C， et al. Model compression and structure search for lightweight neural network［J］. Journal of Xi’an Jiaotong University， 2020， 54（11）： 106- 112. 10.7652/xjtuxb202011013
10	WANG P， CHEN P， YUAN Y， et al. Understanding convolution for semantic segmentation［C］// Proceedings of the 2018 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2018： 1451-1460. 10.1109/wacv.2018.00163
11	张全龙，王怀彬. 基于膨胀卷积和门控循环单元组合的入侵检测模型［J］. 计算机应用， 2021， 41（5）： 1372-1377.
	ZHANG Q L， WANG H B. Intrusion detection model based on combination of dilated convolution and gated recurrent unit［J］. Journal of Computer Applications， 2021， 41（5）： 1372-1377.
12	李海燕，吴自莹，郭磊，等. 基于混合空洞卷积网络的多鉴别器图像修复［J］. 华中科技大学学报（自然科学版）， 2021， 49（3）： 40-45.
	LI H Y， WU Z Y， GUO L， et al. Multi-discriminator image inpainting algorithm based on hybrid dilated convolution network［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2021， 49（3）： 40-45.
13	贾鹤鸣，郎春博，姜子超. 基于轻量级卷积神经网络的植物叶片病害识别方法［J］. 计算机应用， 2021， 41（6）： 1812-1819. 10.11772/j.issn.1001-9081.2020091471
	JIA H M， LANG C B， JIANG Z C. Plant leaf disease recognition method based on lightweight convolutional neural network［J］. Journal of Computer Applications， 2021， 41（6）： 1812-1819. 10.11772/j.issn.1001-9081.2020091471
14	史加荣，王丹，尚凡华，等. 随机梯度下降算法研究进展［J］. 自动化学报， 2021， 47（9）： 2103-2119.
	SHI J R， WANG D， SHANG F H， et al. Research advances on stochastic gradient descent algorithms［J］. Acta Automatica Sinica， 2021， 47（9）： 2103-2119.
15	KINGMA D P， BA J L. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30）［2021-03-08］..
16	刘然，刘宇，顾进广. 基于自适应学习率优化的AdaNet改进［J］. 计算机应用， 2020， 40（10）： 2804-2810.
	LIU R， LIU Y， GU J G. Improved AdaNet based on adaptive learning rate optimization［J］. Journal of Computer Applications， 2020， 40（10）： 2804-2810.
17	KESKAR N S， SOCHER R. Improving generalization performance by switching from Adam to SGD［EB/OL］. （2017-12-20）［2021-03-08］..
18	WILSON A C， ROELOFS R， STERN M， et al. The marginal value of adaptive gradient methods in machine learning［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 4151-4161.

[1]	尤昕源, 王恒. 基于门控膨胀卷积循环网络的单声道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1317-1324.
[2]	曾渝, 张洋, 曾尚, 付茂栗, 何启学, 曾林隆. 基于多尺度门控膨胀卷积网络的时间序列预测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3427-3434.
[3]	姜钧舰, 刘达维, 刘逸凡, 任酉贵, 赵志滨. 基于孪生网络的小样本目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2325-2329.
[4]	郭奕裕, 周箩鱼, 刘新瑜, 李尧. 改进注意力机制的电梯场景下危险品检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2295-2302.
[5]	詹春兰, 王安志, 王明辉. 基于通道注意力和边缘融合的伪装目标分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2166-2172.
[6]	刘辉, 张琳玉, 王复港, 何如瑾. 基于注意力机制和上下文信息的目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1557-1564.
[7]	蒋瑞林, 覃仁超. 基于深度可分离卷积的多神经网络恶意代码检测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1527-1533.
[8]	杨有, 张汝荟, 许鹏程, 康慷, 翟浩. 面向民国档案印章分割的改进U-Net[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 943-948.
[9]	李坤, 侯庆. 基于注意力机制的轻量型人体姿态估计[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2407-2414.
[10]	贺怀清, 闫建青, 惠康华. 基于深度残差网络的轻量级人脸识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2030-2036.
[11]	王娟, 袁旭亮, 武明虎, 郭力权, 刘子杉. 基于压缩提炼网络的实时语义分割方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 1993-2000.
[12]	张毅, 王爽胜, 何彬, 叶培明, 李克强. 基于BERT的初等数学文本命名实体识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 433-439.
[13]	彭禹, 宋耀莲, 杨俊. 基于数据增强的运动想象脑电分类[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3625-3632.
[14]	贾鹤鸣, 郎春博, 姜子超. 基于轻量级卷积神经网络的植物叶片病害识别方法[J]. 计算机应用, 2021, 41(6): 1812-1819.
[15]	胡嵽, 冯子亮. 基于深度学习的轻量级道路图像语义分割算法[J]. 计算机应用, 2021, 41(5): 1326-1331.

空中加油场景下的目标联合检测跟踪算法

Joint detection and tracking algorithm of target in aerial refueling scenes

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 17

参考文献 18

相关文章 15

编辑推荐

Metrics