基于像素分类的多尺度无人机航拍目标旋转跟踪算法

doi:10.11772/j.issn.1001-9081.2021040689

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2239-2247.DOI: 10.11772/j.issn.1001-9081.2021040689

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于像素分类的多尺度无人机航拍目标旋转跟踪算法

薛远亮, 金国栋(), 谭力宁, 许剑锟

火箭军工程大学核工程学院，西安 710025

收稿日期:2021-04-30 修回日期:2021-06-29 接受日期:2021-06-29 发布日期:2022-07-15 出版日期:2022-07-10
通讯作者: 金国栋
作者简介:薛远亮（1996—），男，四川遂宁人，硕士研究生，主要研究方向：无人机目标检测及跟踪
谭力宁（1985—），男，河南许昌人，讲师，博士，主要研究方向：计算机视觉、人工智能
许剑锟（1986—），男，河北石家庄人，硕士研究生，主要研究方向：无人机跟踪及定位。

Pixel classification-based multiscale UAV aerial object rotational tracking algorithm

Yuanliang XUE, Guodong JIN(), Lining TAN, Jiankun XU

School of Nuclear Engineering，Rocket Force University of Engineering，Xi’an Shaanxi 710025，China

Received:2021-04-30 Revised:2021-06-29 Accepted:2021-06-29 Online:2022-07-15 Published:2022-07-10
Contact: Guodong JIN
About author:XUE Yuanliang， born in 1996， M. S. candidate. His research interests include unmanned aerial vehicle detection and object tracking.
TAN Lining， born in 1985， Ph. D.， lecturer. His research interests include computer vision， artificial intelligence.
XU Jiankun， born in 1986， M. S. candidate. His research interests include unmanned aerial vehicle object tracking and location.

摘要/Abstract

摘要：

针对无人机（UAV）跟踪过程中垂直跟踪框在处理尺度变化、相似物体和纵横比变化时限制了跟踪精度提升的问题，提出一种基于像素分类的多尺度UAV航拍目标旋转跟踪算法。首先，设计MS-ResNet以提取目标多尺度特征；然后，在具有正交特性的多通道响应图上设计像素二分类模块，从而进一步精确细化分类和回归分支的结果；同时，为了提高像素分类精度，使用并行通道空间注意力（scSE）模块在空间域和通道域上筛选目标特征；最后，在像素分类基础上生成贴合目标实际大小的旋转跟踪框，从而避免正样本受到污染。实验结果表明：所提算法在无人机跟踪数据集UAV123上的成功率和准确率分别为60.7%和79.5%、与孪生区域建议跟踪网络（SiamRPN）相比，成功率与准确率分别提升了5个百分点、2.7个百分点，同时速度为67.5 FPS，满足实时要求。所提算法具有良好的尺度适应能力、辨别能力和鲁棒性，能有效应对UAV跟踪任务。

关键词: 无人机, 目标跟踪, 像素分类, 多尺度特征, 旋转跟踪

Abstract:

A pixel classification-based multiscale Unmanned Aerial Vehicle （UAV） aerial object rotational tracking algorithm was proposed for the UAV tracking process， in which the vertical tracking box limited the tracking accuracy when dealing with scale changes， similar objects and aspect ratio changes. Firstly， MS-ResNet （MultiScale ResNet-50） was designed to extract multiscale features of the object. Then， a pixel binary classification module was designed on the multi-channel response map with orthogonal characteristics to further refine the results of classification and regression branches accurately. Meanwhile， to improve the pixel classification accuracy， the concurrent spatial and channel “Squeeze & Excitation” （scSE） module was used to filter the object features in the spatial and channel domains. Finally， a rotational tracking box fitting the actual size of the object was generated based on pixel classification to avoid the contamination of positive samples. Experimental results show that the proposed algorithm has the success rate and precision on the UAV tracking dataset UAV123 of 60.7% and 79.5% respectively， which are 5 percentage points and 2.7 percentage points higher than those of Siamese Region Proposal Network （SiamRPN） respectively， and has the speed reached 67.5 FPS， meeting the real-time requirements. The proposed algorithm has good scale adaptation， discrimination ability and robustness， and can effectively cope with UAV tracking tasks.

Key words: Unmanned Aerial Vehicle (UAV), object tracking, pixel classification, multiscale feature, rotational tracking

中图分类号:

TP391.41

薛远亮, 金国栋, 谭力宁, 许剑锟. 基于像素分类的多尺度无人机航拍目标旋转跟踪算法[J]. 计算机应用, 2022, 42(7): 2239-2247.

Yuanliang XUE, Guodong JIN, Lining TAN, Jiankun XU. Pixel classification-based multiscale UAV aerial object rotational tracking algorithm[J]. Journal of Computer Applications, 2022, 42(7): 2239-2247.

图/表 8

图1 网络结构

Fig.1 Network structure

图2 残差块

Fig.2 Residual block

图3 垂直跟踪结果展示

Fig.3 Display of vertical tracking result

图4 scSE结构

Fig.4 Structure of scSE

图5 部分跟踪结果

Fig.5 Some tracking results

图6 不同算法在UAV123数据集上的整体性能评估

Fig.6 Overall performance evaluation of different algorithms on UAV123 dataset

图7 算法在UAV123数据集上不同属性的评估结果

Fig.7 Evaluation results of algorithms on different attributes of UAV123 dataset

图8 无人机航拍视频的跟踪结果

Fig.8 Tracking results of UAV aerial video

参考文献 34

1	孟琭，杨旭. 目标跟踪算法综述［J］. 自动化学报， 2019， 45（7）： 1244-1260.
	MENG L， YANG X. A survey of object tracking algorithms［J］. Acta Automatica Sinica， 2019， 45（7）： 1244-1260.
2	卢湖川，李佩霞，王栋. 目标跟踪算法综述［J］. 模式识别与人工智能， 2018， 31（1）： 61-76.
	LU H C， LI P X， WANG D. Visual object tracking： a survey［J］. Pattern Recognition and Artificial Intelligence， 2018， 31（1）： 61-76.
3	BOLME D S， BEVERIDGE J R， DRAPER B A， et al. Visual object tracking using adaptive correlation filters［C］// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2010： 2544-2550. 10.1109/cvpr.2010.5539960
4	HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596. 10.1109/tpami.2014.2345390
5	DANELLJAN M， HÄGER G， KHAN F S， et al. Accurate scale estimation for robust visual tracking［C］// Proceedings of the 2014 British Machine Vision Conference. Durham： BMVA Press， 2014： No.38. 10.5244/c.28.65
6	LI Y， ZHU J K. A scale adaptive kernel correlation filter tracker with feature integration［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8926 . Cham： Springer， 2015： 254-265.
7	DANELLJAN M， HÄGER G， KHAN F S， et al. Learning spatially regularized correlation filters for visual tracking［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 4310-4318. 10.1109/iccv.2015.490
8	TAO R， GAVVES E， SMEULDERS A W M. Siamese instance search for tracking［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1420-1429. 10.1109/cvpr.2016.158
9	BERTINETTO L， VALMADRE J， HENRIQUES J F， et al. Fully-convolutional Siamese networks for object tracking［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9914 . Cham： Springer， 2016： 850-865.
10	LI B， YAN J J， WU W， et al. High performance visual tracking with Siamese region proposal network［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8971-8980. 10.1109/cvpr.2018.00935
11	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 91-99.
12	LI B， WU W， WANG Q， et al. SiamRPN++： evolution of Siamese visual tracking with very deep networks［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4277-4286. 10.1109/cvpr.2019.00441
13	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
14	HE A F， LUO C， TIAN X M， et al. A twofold Siamese network for real-time object tracking［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4834-4843. 10.1109/cvpr.2018.00508
15	VOIGTLAENDER P， LUITEN J， TORR P H S， et al. Siam R-CNN： visual tracking by re-detection［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 6577-6587. 10.1109/cvpr42600.2020.00661
16	WANG Q， ZHANG L， BERTINETTO L， et al. Fast online object tracking and segmentation： a unifying approach［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision Pattern Recognition. Piscataway： IEEE， 2019： 1328-1338. 10.1109/cvpr.2019.00142
17	LUKEŽIČ A， MATAS J， KRISTAN M. D3S — a discriminative single shot segmentation tracker［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 7131-7140. 10.1109/cvpr42600.2020.00716
18	HUANG Z Y， FU C H， LI Y M， et al. Learning aberrance repressed correlation filters for real-time UAV tracking［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 2891-2900. 10.1109/iccv.2019.00298
19	LI Y M， FU C H， DING F Q， et al. AutoTrack： towards high-performance visual tracking for UAV with automatic spatio-temporal regularization［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11920-11929. 10.1109/cvpr42600.2020.01194
20	FU C H， CAO Z A， LI Y M， et al. Siamese anchor proposal network for high-speed aerial tracking［C］// Proceedings of the 2021 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2021： 510-516. 10.1109/icra48506.2021.9560756
21	ROY A G， NAVAB N， WACHINGER C. Concurrent spatial and channel ‘squeeze & excitation’ in fully convolutional networks［C］// Proceedings of the 2018 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11070. Cham： Springer， 2018： 421-429.
22	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2012： 1097-1105.
23	GAO S H， CHENG M M， ZHAO K， et al. Res2Net： a new multi-scale backbone architecture［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（2）： 652-662. 10.1109/tpami.2019.2938758
24	KRISTAN M， LEONARDIS A， MATAS J， et al. The visual object tracking VOT2016 challenge results ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9914. Cham： Springer， 2016： 777-823.
25	KRISTAN M， LEONARDIS A， MATAS J， et al. The sixth visual object tracking VOT2018 challenge results ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11129. Cham： Springer， 2019： 3-53.
26	KAEHLER A， BRADSKI G. Learning OpenCV 3： Computer Vision in C++ with the OpenCV Library［M］. Sebastopol， CA： O’Reilly Media Inc.， 2016：407-413.
27	HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023. 10.1109/tpami.2019.2913372
28	LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： common objects in context［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8693. Cham： Springer， 2014： 740-755.
29	RUSSAKOVSKY O， DENG J， SU H， et al. ImageNet large scale visual recognition challenge［J］. International Journal of Computer Vision， 2015， 115（3）： 211-252. 10.1007/s11263-015-0816-y
30	XU N， YANG L J， FAN Y C， et al. YouTube-VOS： sequence-to-sequence video object segmentation［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11209. Cham： Springer， 2018： 603-619.
31	MUELLER M， SMITH N， GHANEM B. A benchmark and simulator for UAV tracking［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 445-461.
32	ZHANG J M， MA S G， SCLAROFF S. MEEM： robust tracking via multiple experts using entropy minimization［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8694. Cham： Springer， 2014： 188-203.
33	HARE S， GOLODETZ S， SAFFARI A， et al. Struck： structured output tracking with kernels［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（10）： 2096-2109. 10.1109/tpami.2015.2509974
34	WU Y， LIM J， YANG M H. Object tracking benchmark［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1834-1848. 10.1109/tpami.2014.2388226

[1]	穆凌霞, 周政君, 王斑, 张友民, 薛向宏, 宁凯凯. 多无人机编队避障和编队重构方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2938-2946.
[2]	戎妍, 刘嘉雯, 李馨蕾. 面向学生课堂情感计算的自适应混合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2919-2930.
[3]	陈彤, 杨丰玉, 熊宇, 严荭, 邱福星. 基于多尺度频率通道注意力融合的声纹库构建方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2407-2413.
[4]	姜文涛, 李宛宣, 张晟翀. 非线性时间一致性的相关滤波目标跟踪[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2558-2570.
[5]	孙子文, 钱立志, 杨传栋, 高一博, 陆庆阳, 袁广林. 基于Transformer的视觉目标跟踪方法综述[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1644-1654.
[6]	郑志强, 段海滨. 基于有限忍耐度鸽群优化的无人机近距空战机动决策[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1401-1407.
[7]	李鸿天, 史鑫昊, 潘卫国, 徐成, 徐冰心, 袁家政. 融合多尺度和注意力机制的小样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1437-1444.
[8]	黄天宇, 李远兴, 陈昊, 郭紫佳, 魏明军. 地空协同场景下加权模糊聚类用户簇划分方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1555-1561.
[9]	唐睿, 岳士博, 张睿智, 刘川, 庞川林. UAV协助下非正交多址接入使能的数据采集系统中能效优化机制[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1209-1218.
[10]	蒋占军, 吴佰靖, 马龙, 廉敬. 多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 938-944.
[11]	周景贤, 李希娜. 基于改进卷积神经网络和射频指纹的无人机检测与识别[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 876-882.
[12]	蔡美玉, 朱润哲, 吴飞, 张开昱, 李家乐. 基于注意力机制和多粒度特征融合的跨视角匹配模型[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 901-908.
[13]	崔晨辉, 蔺素珍, 李大威, 禄晓飞, 武杰. 基于孪生网络和Transformer的红外弱小目标跟踪方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 563-571.
[14]	高胡震, 杜昌平, 郑耀. 基于扩张状态观测器的无人机云台系统控制算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 604-610.
[15]	廖存燚, 郑毅, 刘玮瑾, 于欢, 刘守印. 自动驾驶环境感知多任务去耦-融合算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 424-431.

基于像素分类的多尺度无人机航拍目标旋转跟踪算法

Pixel classification-based multiscale UAV aerial object rotational tracking algorithm

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 34

相关文章 15

编辑推荐

Metrics