基于注意力机制和生成对抗网络的飞行器短期航迹预测模型

doi:10.11772/j.issn.1001-9081.2021081387

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (10): 3292-3299.DOI: 10.11772/j.issn.1001-9081.2021081387

• 前沿与综合应用 • 上一篇

基于注意力机制和生成对抗网络的飞行器短期航迹预测模型

陈玉立¹^,², 佟强¹^,², 谌彤童³, 侯守璐¹, 刘秀磊¹^,²

^1.数据与科学情报分析研究所(北京信息科技大学), 北京 100101
^2.北京材料基因工程高精尖创新中心(北京信息科技大学), 北京 100101
^3.北京跟踪与通信技术研究所, 北京 100094

收稿日期:2021-08-03 修回日期:2021-11-12 接受日期:2021-11-21 发布日期:2022-01-07 出版日期:2022-10-10
通讯作者: 佟强
作者简介:第一联系人：陈玉立（1994—），男，河南周口人，硕士研究生，主要研究方向：机器学习、数据挖掘、时间序列预测
佟强（1985—），男（锡伯族），辽宁沈阳人，讲师，博士，CCF会员，主要研究方向：图像识别、计算机视觉、机器学习； tongq85@bistu.edu.cn
谌彤童（1987—），男，江西南昌人，博士，主要研究方向：模式识别、实验鉴定
侯守璐（1989—），女，河南驻马店人，讲师，博士，CCF会员，主要研究方向：物联网、边缘计算、绿色计算
刘秀磊（1981—），男，河南濮阳人，副教授，博士，CCF会员，主要研究方向：语义Web、本体匹配、语义搜索、知识图谱、语义传感器。
基金资助:
北京信息科技大学校级基金资助项目(2121YJPY225);科研机构创新能力建设

Short-term trajectory prediction model of aircraft based on attention mechanism and generative adversarial network

Yuli CHEN¹^,², Qiang TONG¹^,², Tongtong CHEN³, Shoulu HOU¹, Xiulei LIU¹^,²

^1.Institute of Data Science and Information Studies（Beijing Information Science and Technology University），Beijing 100101，China
^2.Beijing Advanced Innovation Center for Materials Genome Engineering;（Beijing Information Science and Technology University），Beijing 100101，China
^3.Beijing Institute of Tracking and Telecommunications Technology，Beijing 100094，China

Received:2021-08-03 Revised:2021-11-12 Accepted:2021-11-21 Online:2022-01-07 Published:2022-10-10
Contact: Qiang TONG
About author:CHEN Yul, born in 1994， M. S. candidate. His research interests include machine learning， data mining， time series prediction.
TONG Qiang, born in 1985， Ph. D. ， lecturer. His research interests include image recognition， computer vision， machine learning.
CHEN Tongtong, born in 1987， Ph. D. . His research interests include pattern recognition， experimental identification
HOU Shoulu, born in 1989， Ph. D. ， lecturer. Her research interests include internet of things， edge computing， green computing.
LIU Xiulei, born in 1981， Ph. D. ， associate professor. His research interests include semantic Web， ontology matching， semantic search， knowledge graph， semantic sensor.
Supported by:
Fund of Beijing Information Science and Technology University(2121YJPY225);Innovation Capacity Building of Scientific Research Institutions

摘要/Abstract

摘要：

针对单一长短时记忆（LSTM）网络在航迹预测上无法有效提取关键信息以及难以精准拟合数据分布等问题，提出基于注意力机制和生成对抗网络（GAN）的飞行器短期轨迹预测模型。首先，引入注意力机制对航迹赋予不同的权重，以提升航迹中重要特征的影响力；其次，基于LSTM提取航迹序列特征，并经汇聚层汇集时间步长内所有的飞行器特征；最后，利用GAN在对抗博弈下不断优化的特性来优化模型，从而提高模型的准确性。相较于社会生成对抗网络（SGAN），所提模型在处于爬升阶段的数据集上的平均位移误差（ADE）、最终位移误差（FDE）及最大位移误差（MDE）分别降低了20.0%、20.4%和18.3%。实验结果表明，所提模型能更精确地预测未来航迹。

关键词: 航迹预测, 注意力机制, 生成对抗网络, 长短时记忆网络

Abstract:

Single Long Short-Term Memory （LSTM） network cannot effectively extract key information and cannot accurately fit data distribution in trajectory prediction. In order to solve the problems， a short-term trajectory prediction model of aircraft based on attention mechanism and Generative Adversarial Network （GAN） was proposed. Firstly， different weights were assigned to the trajectory by introducing attention mechanism， so that the influence of important features in the trajectory was able to be improved. Secondly， the trajectory sequence features were extracted by using LSTM， and the convergence net was used to gather all aircraft features within the time step. Finally， the characteristic of GAN optimizing continuously in adversarial game was used to optimize the model in order to improve the model accuracy. Compared with Social Generative Adversarial Network （SGAN）， the proposed model has the Average Displacement Error （ADE）， Final Displacement Error （FDE） and Maximum Displacement Error （MDE） reduced by 20.0%， 20.4% and 18.3% respectively on the dataset during climb phase. Experimental results show that the proposed model can predict future trajectories more accurately.

Key words: trajectory prediction, attention mechanism, Generative Adversarial Network (GAN), Long Short-Term Memory (LSTM) network

中图分类号:

TP391.4

陈玉立, 佟强, 谌彤童, 侯守璐, 刘秀磊. 基于注意力机制和生成对抗网络的飞行器短期航迹预测模型[J]. 计算机应用, 2022, 42(10): 3292-3299.

Yuli CHEN, Qiang TONG, Tongtong CHEN, Shoulu HOU, Xiulei LIU. Short-term trajectory prediction model of aircraft based on attention mechanism and generative adversarial network[J]. Journal of Computer Applications, 2022, 42(10): 3292-3299.

图/表 8

参考文献 45

1	HAO S Q， CHENG S W， ZHANG Y P. A multi-aircraft conflict detection and resolution method for 4-dimensional trajectory-based operation［J］. Chinese Journal of Aeronautics， 2018， 31（7）： 1579-1593. 10.1016/j.cja.2018.04.017
2	SCHUSTER W. Trajectory prediction for future air traffic management — complex manoeuvres and taxiing［J］. The Aeronautical Journal， 2015， 119（1212）： 121-143. 10.1017/s0001924000010307
3	ZHANG J F， LIU J， HU R， et al. Online four dimensional trajectory prediction method based on aircraft intent updating［J］. Aerospace Science and Technology， 2018， 77： 774-787. 10.1016/j.ast.2018.03.037
4	ZHOU Z J， CHEN J L， SHEN B B， et al. A trajectory prediction method based on aircraft motion model and grey theory［C］// Proceedings of the 2016 IEEE Advanced Information Management， Communicates， Electronic and Automation Control Conference. Piscataway： IEEE， 2016： 1523-1527. 10.1109/imcec.2016.7867472
5	KANESHIGE J， BENAVIDES J， SHARMA S， et al. Implementation of a trajectory prediction function for trajectory based operations［C］// Proceedings of the 2014 AIAA Atmospheric Flight Mechanics Conference. Reston， VA： AIAA， 2014： No.2198. 10.2514/6.2014-2198
6	THIPPHAVONG D P， SCHULTZ C A， LEE A G， et al. Adaptive algorithm to improve trajectory prediction accuracy of climbing aircraft［J］. Journal of Guidance， Control， and Dynamics， 2013， 36（1）： 15-24. 10.2514/1.58508
7	王涛波，黄宝军. 基于改进卡尔曼滤波的四维飞行航迹预测模型［J］. 计算机应用， 2014， 34（6）： 1812-1815. 10.11772/j.issn.1001-9081.2014.06.1812
	WANG T B， HUANG B J. 4D flight trajectory prediction model based on improved Kalman filter［J］. Journal of Computer Applications， 2014， 34（6）： 1812-1815. 10.11772/j.issn.1001-9081.2014.06.1812
8	LYMPEROPOULOS I， LYGEROS J. Sequential Monte Carlo methods for multi-aircraft trajectory prediction in air traffic management［J］. International Journal of Adaptive Control and Signal Processing， 2010， 24（10）： 830-849. 10.1002/acs.1174
9	谢丽，张军峰，隋东，等. 基于交互式多模型滤波算法的航迹预测［J］. 航空计算技术， 2012， 42（5）： 68-70， 74. 10.3969/j.issn.1671-654X.2012.05.017
	XIE L， ZHANG J F， SUI D， et al. Aircraft trajectory prediction based on interacting multiple model filtering algorithm［J］. Aeronautical Computing Technique， 2012， 42（5）： 68-70， 74. 10.3969/j.issn.1671-654X.2012.05.017
10	WANG Z J， ZHANG X J， CAI K Q. An interacting multiple model based aircraft trajectory conformance prediction method［C］// Proceedings of the IEEE/AIAA 37th Digital Avionics Systems Conference. Piscataway： IEEE， 2018： 1-9. 10.1109/dasc.2018.8569251
11	MAEDER U， MORARI M， BAUMGARTNER T I. Trajectory prediction for light aircraft［J］. Journal of Guidance， Control， and Dynamics， 2011， 34（4）： 1112-1119. 10.2514/1.52124
12	汤新民，李腾，陈强超，等. 基于交互式多模型的短期4D航迹预测［J］. 武汉理工大学学报（交通科学与工程版）， 2020， 44（1）：39-45. 10.3963/j.issn.2095-3844.2020.01.008
	TANG X M， LI T， CHEN Q C， et al. Short-term 4D trajectory prediction based on interactive multi-models［J］. Journal of Wuhan University of Technology （Transportation Science and Engineering）， 2020， 44（1）：39-45. 10.3963/j.issn.2095-3844.2020.01.008
13	DE LEEGE A M P， VAN PAASSEN M M， MULDER M. A machine learning approach to trajectory prediction［C］// Proceedings of the 2013 AIAA Guidance， Navigation， and Control Conference. Reston， VA： AIAA， 2013： No.4782. 10.2514/6.2013-4782
14	TASTAMBEKOV K， PUECHMOREL S， DELAHAYE D， et al. Aircraft trajectory forecasting using local functional regression in Sobolev space［J］. Transportation Research Part C： Emerging Technologies， 2014， 39： 1-22. 10.1016/j.trc.2013.11.013
15	王涛波，黄宝军. 基于4D航迹的模糊聚类分析［J］. 交通信息与安全， 2013， 31（6）：38-42. 10.3963/j.issn.1674-4861.2013.06.008
	WANG T B， HUANG B J. Fuzzy cluster analysis of 4D trajectory based on ADS-B［J］. Journal of Transport Information and Safety， 2013， 31（6）： 38-42. 10.3963/j.issn.1674-4861.2013.06.008
16	GEORGIOU H， PELEKIS N， SIDERIDIS S， et al. Semantic-aware aircraft trajectory prediction using flight plans［J］. International Journal of Data Science and Analytics， 2020， 9（2）： 215-228. 10.1007/s41060-019-00182-4
17	马兰，高永胜. 基于ADS-B数据挖掘的4D航迹预测方法［J］. 中国民航大学学报， 2019， 37（4）：1-4. 10.3969/j.issn.1674-5590.2019.04.001
	MA L， GAO Y S. Four-dimensional trajectory prediction method based on ADS-B data mining［J］. Journal of Civil Aviation University of China， 2019， 37（4）： 1-4. 10.3969/j.issn.1674-5590.2019.04.001
18	钱夔，周颖，杨柳静，等. 基于BP神经网络的空中目标航迹预测模型［J］. 指挥信息系统与技术， 2017， 8（3）： 54-58. 10.15908/j.cnki.cist.2017.03.010
	QIAN K， ZHOU Y， YANG L J， et al. Aircraft target track prediction model based on BP neural network［J］. Command Information System and Technology， 2017， 8（3）： 54-58. 10.15908/j.cnki.cist.2017.03.010
19	WU Z J， TIAN S， MA L. A 4D trajectory prediction model based on the BP neural network［J］. Journal of Intelligent Systems， 2020， 29（1）： 1545-1557. 10.1515/jisys-2019-0077
20	NAESSENS H， PHILIP T， PIATEK M， et al. Predicting flight routes with a deep neural network in the operational air traffic flow and capacity management system［EB/OL］. （2017-12-17）［2021-05-25］..
21	SHI Z Y， XU M， PAN Q， et al. LSTM-based flight trajectory prediction［C］// Proceedings of the 2018 International Joint Conference on Neural Networks. Piscataway： IEEE， 2018： 1-8. 10.1109/ijcnn.2018.8489734
22	PANG Y T， XU N， LIU Y M. Aircraft trajectory prediction using LSTM neural network with embedded convolutional layer［C］// Proceedings of the 11th Annual Conference of the Prognostics and Health Management Society. ［S.l.］： PHM Society， 2019： No.849. 10.36001/phmconf.2019.v11i1.849
23	HAN P， YUE J C， FANG C， et al. Short-term 4D trajectory prediction based on LSTM neural network［C］// Proceedings of the SPIE 11427， 2nd Target Recognition and Artificial Intelligence Summit Forum International Society for Optics and Photonics. Bellingham， WA： SPIE， 2020： No.114270M. 10.1117/12.2550425
24	张宏鹏，黄长强，轩永波，等. 用门控循环单元实时预测空战飞行轨迹［J］. 系统工程与电子技术， 2020， 42（11）： 2546-2552. 10.3969/j.issn.1001-506X.2020.11.17
	ZHANG H P， HUANG C Q， XUAN Y B， et al. Real-time prediction of air combat flight trajectory using GRU［J］. Systems Engineering and Electronics， 2020， 42（11）： 2546-2552. 10.3969/j.issn.1001-506X.2020.11.17
25	BAKLACIOGLU T， CAVCAR M. Aero-propulsive modelling for climb and descent trajectory prediction of transport aircraft using genetic algorithms［J］. The Aeronautical Journal， 2014， 118（1199）： 65-79. 10.1017/s0001924000008939
26	ZHANG Z X， YANG R N， FANG Y H. LSTM network based on antlion optimization and its application in flight trajectory prediction［C］// Proceedings of the 2nd IEEE Advanced Information Management， Communicates， Electronic and Automation Control Conference. Piscataway： IEEE， 2018： 1658-1662. 10.1109/imcec.2018.8469476
27	QIAO S J， SHEN D Y， WANG X T， et al. A self-adaptive parameter selection trajectory prediction approach via hidden Markov models［J］. IEEE Transactions on Intelligent Transportation Systems， 2015， 16（1）： 284-296. 10.1109/tits.2014.2331758
28	石庆研，岳聚财，韩萍，等. 基于LSTM-ARIMA模型的短期航班飞行轨迹预测［J］. 信号处理， 2019， 35（12）： 2000-2009.
	SHI Q Y， YUE J C， HAN P， et al. Short-term flight trajectory prediction based on LSTM-ARIMA model［J］. Journal of Signal Processing， 2019， 35（12）： 2000-2009.
29	MA L， TIAN S. A hybrid CNN-LSTM model for aircraft 4D trajectory prediction［J］. IEEE Access， 2020， 8： 134668-134680. 10.1109/access.2020.3010963
30	XU Z F， ZENG W L， CHU X， et al. Multi-aircraft trajectory collaborative prediction based on social long short-term memory network［J］. Aerospace， 2021， 8（4）： No.115. 10.3390/aerospace8040115
31	ZENG W L， QUAN Z B， ZHAO Z Y， et al. A deep learning approach for aircraft trajectory prediction in terminal airspace［J］. IEEE Access， 2020， 8： 151250-151266. 10.1109/access.2020.3016289
32	MNIH V， HEESS N， GRAVES A， et al. Recurrent models of visual attention［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2204-2212.
33	FERNANDO T， DENMAN S， SRIDHARAN S， et al. Soft + Hardwired attention： an LSTM framework for human trajectory prediction and abnormal event detection［J］. Neural Networks， 2018， 108： 466-478. 10.1016/j.neunet.2018.09.002
34	GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks［J］. Communications of the ACM， 2020， 63（11）： 139-144. 10.1145/3422622
35	GUPTA A， JOHNSON J， LI F F， et al. Social GAN： socially acceptable trajectories with generative adversarial networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 2255-2264. 10.1109/cvpr.2018.00240
36	SCHÄFER M， STROHMEIER M， LENDERS V， et al. Bringing up OpenSky： a large-scale ADS-B sensor network for research［C］// Proceedings of the 13th International Symposium on Information Processing in Sensor Networks. Piscataway： IEEE， 2014： 83-94. 10.1109/ipsn.2014.6846743
37	LIN Y， LI Q， GUO D Y， et al. Tensor completion-based trajectory imputation approach in air traffic control［J］. Aerospace Science and Technology， 2021， 114： No.106754. 10.1016/j.ast.2021.106754
38	权波，杨博辰，胡可奇，等. 基于LSTM的船舶航迹预测模型［J］. 计算机科学， 2018， 45（11A）：126-131. 10.11896/j.issn.1002-137X.2018.11A.022
	QUAN B， YANG B C， HU K Q， et al. Prediction model of ship trajectory based on LSTM［J］. Computer Science， 2018， 45（11A）：126-131. 10.11896/j.issn.1002-137X.2018.11A.022
39	YANG T， NAN Z X， ZHANG H， et al. Traffic agent trajectory prediction using social convolution and attention mechanism［C］// Proceedings of the 2020 IEEE Intelligent Vehicles Symposium. Piscataway： IEEE， 2020： 278-283. 10.1109/iv47402.2020.9304645
40	BOTTOU L. Large-scale machine learning with stochastic gradient descent［C］// Proceedings of the COMPSTAT’2010： 19th International Conference on Computational Statistics. Berlin： Physica-Verlag HD， 2010： 177-186. 10.1007/978-3-7908-2604-3_16
41	ZHOU J， WANG H D， WEI J L， et al. Adaptive moment estimation for polynomial nonlinear equalizer in PAM8-based optical interconnects［J］. Optics Express， 2019， 27（22）： 32210-32216. 10.1364/oe.27.032210
42	DE OLIVEIRA L S， GRUETZMACHER S B， TEIXEIRA J P. COVID-19 time series prediction［J］. Procedia Computer Science， 2021， 181：973-980. 10.1016/j.procs.2021.01.254
43	PATACCHIOLA M， CANGELOSI A. Head pose estimation in the wild using convolutional neural networks and adaptive gradient methods［J］. Pattern Recognition， 2017， 71：132-143. 10.1016/j.patcog.2017.06.009
44	MADSEN P T. Marine mammals and noise： problems with root mean square sound pressure levels for transients［J］. The Journal of the Acoustical Society of America， 2005， 117（6）： 3952-3957. 10.1121/1.1921508
45	YU H， JIN R， YANG S. On the linear speedup analysis of communication efficient momentum SGD for distributed non-convex optimization［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019： 7184-7193.

发生时间	飞行器代码	纬度/（°）	经度/（°）	高度/m
1599440410	06a088	29.624 16	-95.625 43	1 874.52
1599440420	06a088	29.631 89	-95.612 77	1 866.90
1599440430	06a088	29.640 10	-95.600 80	1 836.42
1599440440	06a088	29.648 34	-95.590 29	1 783.08
1599440450	06a088	29.657 54	-95.579 70	1 714.50
1599440460	06a088	29.665 69	-95.570 64	1 638.30

发生时间	飞行器代码	纬度/（°）	经度/（°）	高度/m
1599440410	06a088	29.624 16	-95.625 43	1 874.52
1599440420	06a088	29.631 89	-95.612 77	1 866.90
1599440430	06a088	29.640 10	-95.600 80	1 836.42
1599440440	06a088	29.648 34	-95.590 29	1 783.08
1599440450	06a088	29.657 54	-95.579 70	1 714.50
1599440460	06a088	29.665 69	-95.570 64	1 638.30

模型	ADE	FDE	MDE
BP	0.022 075	0.021 804	0.085 027
LSTM	0.082 516	0.087 059	0.487 775
GRU	0.064 143	0.077 773	0.382 983
SGAN	0.018 791	0.028 391	0.048 737
ATGAN	0.014116	0.020845	0.038082

模型	ADE	FDE	MDE
BP	0.022 075	0.021 804	0.085 027
LSTM	0.082 516	0.087 059	0.487 775
GRU	0.064 143	0.077 773	0.382 983
SGAN	0.018 791	0.028 391	0.048 737
ATGAN	0.014116	0.020845	0.038082

模型	ADE	FDE	MDE
BP	0.018 177	0.017 546	0.119 078
LSTM	0.016 218	0.015 262	0.082 700
GRU	0.012 724	0.011 947	0.065 207
SGAN	0.008 729	0.014 992	0.047 028
ATGAN	0.006984	0.011930	0.038422

基于注意力机制和生成对抗网络的飞行器短期航迹预测模型

Short-term trajectory prediction model of aircraft based on attention mechanism and generative adversarial network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 45

相关文章 15

编辑推荐

Metrics

模型	训练时间/h	预测时间/ms	模型	训练时间/h	预测时间/ms
BP	1.03	0.02	SGAN	13.34	0.79
LSTM	1.09	0.13	ATGAN	12.15	0.78
GRU	1.10	0.08

[1]	魏海云, 郑茜颖, 俞金玲. 基于多尺度网络的运动模糊图像复原算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2838-2844.
[2]	张文涛, 王园宇, 李赛泽. 基于条件对抗网络的单幅霾图像深度估计模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2865-2875.
[3]	刘月峰, 张小燕, 郭威, 边浩东, 何滢婕. 基于优化混合模型的航空发动机剩余寿命预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2960-2968.
[4]	文凯, 唐伟伟, 熊俊臣. 基于注意力机制和有效分解卷积的实时分割算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2659-2666.
[5]	侯旭东, 滕飞, 张艺. 基于深度自编码的医疗命名实体识别模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2686-2692.
[6]	李姚舜, 刘黎志. 嵌入注意力机制的轻量级钢筋检测网络[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2900-2908.
[7]	强赞霞, 鲍先富. 基于卷积长短期记忆的残差注意力去雨网络[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2858-2864.
[8]	衡红军, 徐天宝. 基于多尺度卷积和门控机制的注意力情感分析模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2674-2679.
[9]	李坤, 侯庆. 基于注意力机制的轻量型人体姿态估计[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2407-2414.
[10]	徐成霞, 阎庆, 李腾, 苗开超. 基于联合注意力机制的单幅图像去雨算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2578-2585.
[11]	张丽莹, 庞春江, 王新颖, 李国亮. 基于改进YOLOv3的多尺度目标检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2423-2431.
[12]	张新宇, 丁胜, 杨治佩. 基于改进注意力机制的交通标志检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2378-2385.
[13]	玄英律, 万源, 陈嘉慧. 基于多尺度卷积和注意力机制的LSTM时间序列分类[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2343-2352.
[14]	吴明晖, 张广洁, 金苍宏. 基于多模态信息融合的时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2326-2332.
[15]	吕振虎, 许新征, 张芳艳. 基于挤压激励的轻量化注意力机制模块[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2353-2360.