基于像素分类的多尺度无人机航拍目标旋转跟踪算法

doi:10.11772/j.issn.1001-9081.2021040689

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2239-2247.DOI: 10.11772/j.issn.1001-9081.2021040689

• 多媒体计算与计算机仿真 • 上一篇

基于像素分类的多尺度无人机航拍目标旋转跟踪算法

薛远亮, 金国栋(), 谭力宁, 许剑锟

火箭军工程大学核工程学院，西安 710025

收稿日期:2021-04-30 修回日期:2021-06-29 接受日期:2021-06-29 发布日期:2022-07-15 出版日期:2022-07-10
通讯作者: 金国栋
作者简介:薛远亮（1996—），男，四川遂宁人，硕士研究生，主要研究方向：无人机目标检测及跟踪
谭力宁（1985—），男，河南许昌人，讲师，博士，主要研究方向：计算机视觉、人工智能
许剑锟（1986—），男，河北石家庄人，硕士研究生，主要研究方向：无人机跟踪及定位。

Pixel classification-based multiscale UAV aerial object rotational tracking algorithm

Yuanliang XUE, Guodong JIN(), Lining TAN, Jiankun XU

School of Nuclear Engineering，Rocket Force University of Engineering，Xi’an Shaanxi 710025，China

Received:2021-04-30 Revised:2021-06-29 Accepted:2021-06-29 Online:2022-07-15 Published:2022-07-10
Contact: Guodong JIN
About author:XUE Yuanliang， born in 1996， M. S. candidate. His research interests include unmanned aerial vehicle detection and object tracking.
TAN Lining， born in 1985， Ph. D.， lecturer. His research interests include computer vision， artificial intelligence.
XU Jiankun， born in 1986， M. S. candidate. His research interests include unmanned aerial vehicle object tracking and location.

摘要/Abstract

摘要：

针对无人机（UAV）跟踪过程中垂直跟踪框在处理尺度变化、相似物体和纵横比变化时限制了跟踪精度提升的问题，提出一种基于像素分类的多尺度UAV航拍目标旋转跟踪算法。首先，设计MS-ResNet以提取目标多尺度特征；然后，在具有正交特性的多通道响应图上设计像素二分类模块，从而进一步精确细化分类和回归分支的结果；同时，为了提高像素分类精度，使用并行通道空间注意力（scSE）模块在空间域和通道域上筛选目标特征；最后，在像素分类基础上生成贴合目标实际大小的旋转跟踪框，从而避免正样本受到污染。实验结果表明：所提算法在无人机跟踪数据集UAV123上的成功率和准确率分别为60.7%和79.5%、与孪生区域建议跟踪网络（SiamRPN）相比，成功率与准确率分别提升了5个百分点、2.7个百分点，同时速度为67.5 FPS，满足实时要求。所提算法具有良好的尺度适应能力、辨别能力和鲁棒性，能有效应对UAV跟踪任务。

关键词: 无人机, 目标跟踪, 像素分类, 多尺度特征, 旋转跟踪

Abstract:

A pixel classification-based multiscale Unmanned Aerial Vehicle （UAV） aerial object rotational tracking algorithm was proposed for the UAV tracking process， in which the vertical tracking box limited the tracking accuracy when dealing with scale changes， similar objects and aspect ratio changes. Firstly， MS-ResNet （MultiScale ResNet-50） was designed to extract multiscale features of the object. Then， a pixel binary classification module was designed on the multi-channel response map with orthogonal characteristics to further refine the results of classification and regression branches accurately. Meanwhile， to improve the pixel classification accuracy， the concurrent spatial and channel “Squeeze & Excitation” （scSE） module was used to filter the object features in the spatial and channel domains. Finally， a rotational tracking box fitting the actual size of the object was generated based on pixel classification to avoid the contamination of positive samples. Experimental results show that the proposed algorithm has the success rate and precision on the UAV tracking dataset UAV123 of 60.7% and 79.5% respectively， which are 5 percentage points and 2.7 percentage points higher than those of Siamese Region Proposal Network （SiamRPN） respectively， and has the speed reached 67.5 FPS， meeting the real-time requirements. The proposed algorithm has good scale adaptation， discrimination ability and robustness， and can effectively cope with UAV tracking tasks.

Key words: Unmanned Aerial Vehicle (UAV), object tracking, pixel classification, multiscale feature, rotational tracking

中图分类号:

TP391.41

薛远亮, 金国栋, 谭力宁, 许剑锟. 基于像素分类的多尺度无人机航拍目标旋转跟踪算法[J]. 计算机应用, 2022, 42(7): 2239-2247.

Yuanliang XUE, Guodong JIN, Lining TAN, Jiankun XU. Pixel classification-based multiscale UAV aerial object rotational tracking algorithm[J]. Journal of Computer Applications, 2022, 42(7): 2239-2247.

图/表 8

图1 网络结构

Fig.1 Network structure

图2 残差块

Fig.2 Residual block

图3 垂直跟踪结果展示

Fig.3 Display of vertical tracking result

图4 scSE结构

Fig.4 Structure of scSE

图5 部分跟踪结果

Fig.5 Some tracking results

图6 不同算法在UAV123数据集上的整体性能评估

Fig.6 Overall performance evaluation of different algorithms on UAV123 dataset

图7 算法在UAV123数据集上不同属性的评估结果

Fig.7 Evaluation results of algorithms on different attributes of UAV123 dataset

图8 无人机航拍视频的跟踪结果

Fig.8 Tracking results of UAV aerial video

参考文献 34

1	孟琭，杨旭. 目标跟踪算法综述［J］. 自动化学报， 2019， 45（7）： 1244-1260.
	MENG L， YANG X. A survey of object tracking algorithms［J］. Acta Automatica Sinica， 2019， 45（7）： 1244-1260.
2	卢湖川，李佩霞，王栋. 目标跟踪算法综述［J］. 模式识别与人工智能， 2018， 31（1）： 61-76.
	LU H C， LI P X， WANG D. Visual object tracking： a survey［J］. Pattern Recognition and Artificial Intelligence， 2018， 31（1）： 61-76.
3	BOLME D S， BEVERIDGE J R， DRAPER B A， et al. Visual object tracking using adaptive correlation filters［C］// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2010： 2544-2550. 10.1109/cvpr.2010.5539960
4	HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596. 10.1109/tpami.2014.2345390
5	DANELLJAN M， HÄGER G， KHAN F S， et al. Accurate scale estimation for robust visual tracking［C］// Proceedings of the 2014 British Machine Vision Conference. Durham： BMVA Press， 2014： No.38. 10.5244/c.28.65
6	LI Y， ZHU J K. A scale adaptive kernel correlation filter tracker with feature integration［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8926 . Cham： Springer， 2015： 254-265.
7	DANELLJAN M， HÄGER G， KHAN F S， et al. Learning spatially regularized correlation filters for visual tracking［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 4310-4318. 10.1109/iccv.2015.490
8	TAO R， GAVVES E， SMEULDERS A W M. Siamese instance search for tracking［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1420-1429. 10.1109/cvpr.2016.158
9	BERTINETTO L， VALMADRE J， HENRIQUES J F， et al. Fully-convolutional Siamese networks for object tracking［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9914 . Cham： Springer， 2016： 850-865.
10	LI B， YAN J J， WU W， et al. High performance visual tracking with Siamese region proposal network［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8971-8980. 10.1109/cvpr.2018.00935
11	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 91-99.
12	LI B， WU W， WANG Q， et al. SiamRPN++： evolution of Siamese visual tracking with very deep networks［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4277-4286. 10.1109/cvpr.2019.00441
13	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
14	HE A F， LUO C， TIAN X M， et al. A twofold Siamese network for real-time object tracking［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4834-4843. 10.1109/cvpr.2018.00508
15	VOIGTLAENDER P， LUITEN J， TORR P H S， et al. Siam R-CNN： visual tracking by re-detection［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 6577-6587. 10.1109/cvpr42600.2020.00661
16	WANG Q， ZHANG L， BERTINETTO L， et al. Fast online object tracking and segmentation： a unifying approach［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision Pattern Recognition. Piscataway： IEEE， 2019： 1328-1338. 10.1109/cvpr.2019.00142
17	LUKEŽIČ A， MATAS J， KRISTAN M. D3S — a discriminative single shot segmentation tracker［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 7131-7140. 10.1109/cvpr42600.2020.00716
18	HUANG Z Y， FU C H， LI Y M， et al. Learning aberrance repressed correlation filters for real-time UAV tracking［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 2891-2900. 10.1109/iccv.2019.00298
19	LI Y M， FU C H， DING F Q， et al. AutoTrack： towards high-performance visual tracking for UAV with automatic spatio-temporal regularization［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11920-11929. 10.1109/cvpr42600.2020.01194
20	FU C H， CAO Z A， LI Y M， et al. Siamese anchor proposal network for high-speed aerial tracking［C］// Proceedings of the 2021 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2021： 510-516. 10.1109/icra48506.2021.9560756
21	ROY A G， NAVAB N， WACHINGER C. Concurrent spatial and channel ‘squeeze & excitation’ in fully convolutional networks［C］// Proceedings of the 2018 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11070. Cham： Springer， 2018： 421-429.
22	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2012： 1097-1105.
23	GAO S H， CHENG M M， ZHAO K， et al. Res2Net： a new multi-scale backbone architecture［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（2）： 652-662. 10.1109/tpami.2019.2938758
24	KRISTAN M， LEONARDIS A， MATAS J， et al. The visual object tracking VOT2016 challenge results ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9914. Cham： Springer， 2016： 777-823.
25	KRISTAN M， LEONARDIS A， MATAS J， et al. The sixth visual object tracking VOT2018 challenge results ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11129. Cham： Springer， 2019： 3-53.
26	KAEHLER A， BRADSKI G. Learning OpenCV 3： Computer Vision in C++ with the OpenCV Library［M］. Sebastopol， CA： O’Reilly Media Inc.， 2016：407-413.
27	HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023. 10.1109/tpami.2019.2913372
28	LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： common objects in context［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8693. Cham： Springer， 2014： 740-755.
29	RUSSAKOVSKY O， DENG J， SU H， et al. ImageNet large scale visual recognition challenge［J］. International Journal of Computer Vision， 2015， 115（3）： 211-252. 10.1007/s11263-015-0816-y
30	XU N， YANG L J， FAN Y C， et al. YouTube-VOS： sequence-to-sequence video object segmentation［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11209. Cham： Springer， 2018： 603-619.
31	MUELLER M， SMITH N， GHANEM B. A benchmark and simulator for UAV tracking［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 445-461.
32	ZHANG J M， MA S G， SCLAROFF S. MEEM： robust tracking via multiple experts using entropy minimization［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8694. Cham： Springer， 2014： 188-203.
33	HARE S， GOLODETZ S， SAFFARI A， et al. Struck： structured output tracking with kernels［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（10）： 2096-2109. 10.1109/tpami.2015.2509974
34	WU Y， LIM J， YANG M H. Object tracking benchmark［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1834-1848. 10.1109/tpami.2014.2388226

[1]	仇天昊, 陈淑荣. 基于EfficientNet的双分路多尺度联合学习行人再识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2065-2071.
[2]	郭可贵, 曹瑞, 万能, 汪晓, 尹悦, 唐旭明, 熊军林. 基于输电杆塔区域提取的图像匹配算法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1591-1597.
[3]	庄屹, 赵海涛. 面向三维点云单目标跟踪的提案聚合网络[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1407-1416.
[4]	黄勇康, 梁美玉, 王笑笑, 陈徵, 曹晓雯. 基于深度时空残差卷积神经网络的课堂教学视频中多人课堂行为识别[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 736-742.
[5]	朱文球, 邹广, 曾志高. 融合层次特征和混合注意力的目标跟踪算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 833-843.
[6]	邓天民, 冒国韬, 周臻浩, 段志坚. 基于密集连接卷积神经网络的道路车辆检测与识别算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 883-889.
[7]	凌欣, 李民政. 无人机巡检系统中高频效的混合波束赋形方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 980-984.
[8]	姬张建, 任兴旺. 带旋转与尺度估计的全卷积孪生网络目标跟踪算法[J]. 计算机应用, 2021, 41(9): 2705-2711.
[9]	马子玉, 何明, 刘祖均, 顾凌枫, 刘锦涛. 无人机协同控制研究综述[J]. 计算机应用, 2021, 41(5): 1477-1483.
[10]	焦海林, 郭玉英, 朱正为. 基于加速度补偿的无人机吊挂飞行抗摆控制[J]. 计算机应用, 2021, 41(2): 604-610.
[11]	钟莎, 黄玉清. 基于孪生区域候选网络的无人机指定目标跟踪[J]. 计算机应用, 2021, 41(2): 523-529.
[12]	黄书召, 田军委, 乔路, 王沁, 苏宇. 基于改进遗传算法的无人机路径规划[J]. 计算机应用, 2021, 41(2): 390-397.
[13]	温静, 李强. 基于时空上下文信息增强的目标跟踪算法[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3565-3570.
[14]	王岱巍, 徐高潮, 李龙. 无人机辅助的移动边缘计算中的任务分配策略[J]. 计算机应用, 2021, 41(10): 2928-2936.
[15]	黄巨挺, 高宏力, 戴志坤. 基于编码解码结构的移动端电力线语义分割方法[J]. 计算机应用, 2021, 41(10): 2952-2958.

基于像素分类的多尺度无人机航拍目标旋转跟踪算法

Pixel classification-based multiscale UAV aerial object rotational tracking algorithm

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 34

相关文章 15

编辑推荐

Metrics