基于时空序列的Conv-LSTM航班延误预测模型

doi:10.11772/j.issn.1001-9081.2021091613

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (10): 3275-3282.DOI: 10.11772/j.issn.1001-9081.2021091613

基于时空序列的Conv-LSTM航班延误预测模型

屈景怡¹, 杨柳¹, 陈旭阳¹, 王茜²

^1.天津市智能信号与图像处理重点实验室(中国民航大学), 天津 300300
^2.中国民用航空华北地区空中交通管理局天津分局, 天津 300300

收稿日期:2021-09-13 修回日期:2022-01-05 接受日期:2022-01-11 发布日期:2022-04-15 出版日期:2022-10-10
通讯作者: 屈景怡
作者简介:第一联系人：屈景怡（1978—），女，天津人，教授，博士，主要研究方向：航空运输大数据、深度学习; qujingyicauc@163.com
杨柳（1996—），女，宁夏银川人，硕士研究生，主要研究方向：深度学习、神经网络
陈旭阳（1996—），男，辽宁沈阳人，硕士研究生，主要研究方向：航空运输大数据
王茜（1984—），女，天津人，工程师，主要研究方向：空中交通管理。
基金资助:
国家自然科学基金资助项目(U1833105);天津市自然科学基金资助项目(19JCYBJC15900)

Flight delay prediction model based on Conv-LSTM with spatiotemporal sequence

Jingyi QU¹, Liu YANG¹, Xuyang CHEN¹, Qian WANG²

^1.Tianjin Key Laboratory of Advanced Signal Processing （Civil Aviation University of China），Tianjin 300300，China
^2.Tianjin Air Traf?c Management Station，CAAC North China Regional Administration，Tianjin 300300，China

Received:2021-09-13 Revised:2022-01-05 Accepted:2022-01-11 Online:2022-04-15 Published:2022-10-10
Contact: Jingyi QU
About author:QU Jingyi, born in 1978， Ph. D. ， professor. Her research interests include big data of air transportation， deep learning.
YANG Liu, born in 1996， M. S. candidate. Her research interests include deep learning， neural networks.
CHEN Xuyang， born in 1996， M. S. candidate. His research interests include big data of air transportation.
WANG Qian, born in 1984， engineer. Her research interests include air traffic management.
Supported by:
National Natural Science Foundation of China(U1833105);Natural Science Foundation of Tianjin(19JCYBJC15900)

摘要/Abstract

摘要：

精准的航班延误预测结果可以为大面积航班延误的预防提供巨大的参考价值。航班延误预测是在特定空间下做时间序列预测，然而目前已有预测方法多为两种或多种算法的结合，存在算法间的融合问题。针对上述问题，提出了一种综合考虑时空序列的卷积长短时记忆（Conv-LSTM）网络航班延误预测模型。所提模型在长短时记忆（LSTM）网络提取时间特征的基础上，将网络的输入和权重矩阵进行卷积来提取空间特征，从而充分利用数据集包含的时间和空间信息。实验结果表明，与LSTM、仅考虑空间信息的卷积神经网络（CNN）模型相比，Conv-LSTM模型的准确率分别提高了0.65个百分点和2.36个百分点。由此可见，同时考虑时空特性可以在航班延误问题中获得更精确的预测结果。此外，基于所提模型设计并实现了基于浏览器/服务器（B/S）架构的航班延误分析系统，并且该系统也可以应用于空中交通管理局流量控制中心。

关键词: 航班延误预测, 时空序列, 深度学习, 卷积长短时记忆网络, 气象信息, 航班信息

Abstract:

The accurate flight delay prediction results can provide a great reference value for the prevention of large-scale flight delays. The flight delays prediction is a time-series prediction in a specific space， however most of the existing prediction methods are the combination of two or more algorithms， and there is a problem of fusion between algorithms. In order to solve the problem above， a Convolutional Long Short-Term Memory （Conv-LSTM） network flight delay prediction model was proposed that considers the temporal and spatial sequences comprehensively. In this model， on the basis that the temporal features were extracted by Long Short-Term Memory （LSTM） network， the input of the network and the weight matrix were convolved to extract spatial features， thereby making full use of the temporal and spatial information contained in the dataset. Experimental results show that the accuracy of the Conv-LSTM model is improved by 0.65 percentage points compared with LSTM， and it is 2.36 percentage points higher than that of the Convolutional Neural Network （CNN） model that only considers spatial information. It can be seen that with considering the temporal and spatial characteristics at the same time， more accurate prediction results can be obtained in the flight delay problem. In addition， based on the proposed model， a flight delay analysis system based on Browser/Server （B/S） architecture was designed and implemented， which can be applied to the air traffic administration flow control center.

Key words: flight delay prediction, spatiotemporal sequence, deep learning, Convolutional Long Short-Term Memory (Conv-LSTM) network, meteorological information, flight information

中图分类号:

TP183

屈景怡, 杨柳, 陈旭阳, 王茜. 基于时空序列的Conv-LSTM航班延误预测模型[J]. 计算机应用, 2022, 42(10): 3275-3282.

Jingyi QU, Liu YANG, Xuyang CHEN, Qian WANG. Flight delay prediction model based on Conv-LSTM with spatiotemporal sequence[J]. Journal of Computer Applications, 2022, 42(10): 3275-3282.

图/表 15

图1 航班延误预测模型整体结构

Fig. 1 Overall structure of flight delay prediction model

图2 数据预处理流程

Fig. 2 Data preprocessing flow

图3 天津机场一段时间内的航班延误统计数据

Fig. 3 Statistics of flight delays at Tianjin Airport during a certain period of time

图4 序列化过程

Fig. 4 Serialization process

表1 网络结构组成和参数量

Tab. 1 Composition of network structure and number of parameters

网络层	输出维度	参数量
Reshape	（15，8，9，1）	0
Conv-LSTM-1	（15，8，9，8）	1 472
Batch-Normalization-1	（15，8，9，8）	32
Conv-LSTM-2	（15，8，9，16）	9 280
Batch-Normalization-2	（15，8，9，16）	64
Conv-LSTM-3	（15，8，9，8）	5 792
Batch-Normalization-3	（15，8，9，8）	32
Flatten	（8 640）	0
Dense	（5）	43 205

图5 LSTM与Bi-LSTM单元结构对比

Fig. 5 Comparison of unit structure of LSTM and Bi-LSTM

图6 Bi-LSTM与Conv-LSTM网络结构对比

Fig. 6 Comparison of network structure of Bi-LSTM and Conv-LSTM

图7 模型前向与反向传播流程

Fig. 7 Flow of forward and back propagation of model

表2 实验环境参数

Tab. 2 Parameters of experimental environment

参数	值	参数	值
损失函数	交叉熵	卷积核大小	3×3
学习率	0.000 01	序列长度	15
优化器	Adam（ $β 1$ =0.9， $β 2$ =0.999）	批处理大小	256
批归一化	$ξ = 10 - 3$	迭代次数	100
每层滤波器的个数	4/8/4

表2 实验环境参数

Tab. 2 Parameters of experimental environment

参数	值	参数	值
损失函数	交叉熵	卷积核大小	3×3
学习率	0.000 01	序列长度	15
优化器	Adam（ $β 1$ =0.9， $β 2$ =0.999）	批处理大小	256
批归一化	$ξ = 10 - 3$	迭代次数	100
每层滤波器的个数	4/8/4

表3 气象数据对准确率的影响

Tab. 3 Influence of meteorological data on accuracy

数据集	数据量	准确率/%
航班数据	59 724	83.58
航班融合1 min气象	58 586	85.26
航班融合10 min气象	591 858	99.22

表4 序列长度对准确率和训练时间的影响

Tab. 4 Influence of sequence length on accuracy and training time

序列长度	每轮训练时间/s	准确率/%
1	71	98.94
3	126	98.95
5	180	98.89
7	239	98.99
9	297	99.02
11	351	99.06
13	422	99.15
15	465	99.22
17	748	99.20

表5 不同数据集上各模型准确率对比 (%)

Tab. 5 Accuracy comparison of different models on different datasets

数据集	Conv-2D	Bi-LSTM			Conv-LSTM
数据集	Conv-2D	LSTM-1	LSTM-2	LSTM-3	Conv-LSTM-1	Conv-LSTM-2	Conv-LSTM-3
平均值	95.85	96.63	97.40	97.56	96.99	97.84	98.21
ZBAA	96.21	97.01	97.57	97.85	97.23	98.07	98.36
ZBAD	97.06	96.52	97.25	97.48	97.37	97.88	98.02
ZBTJ	92.70	95.26	96.15	96.20	95.02	96.45	97.25
ZBSJ	97.44	97.74	98.64	98.72	98.35	98.96	99.22

图8 不同网络结构下的准确率

Fig. 8 Accuracies under different network structures

图9 不同网络结构下的损失值

Fig. 9 Loss values under different network structures

图10 航班延误预测系统架构

Fig. 10 Architecture of flight delay prediction system

参考文献 17

1	李娟，曾维理，刘丹丹，等. 基于时空长短期记忆网络的机场航班延误预测［C/OL］// 2019世界交通运输大会论文集. ［2021-07-28］..
	LI J， ZENG W L， LIU D D， et al. Spatial-temporal long short-term memory networks for airport flight delay prediction［C/OL］// Proceedings of the 2019 World Transport Convention.［2021-07-28］..
2	LUO C Y， LI X T， YE Y M. PFST-LSTM： a spatiotemporal LSTM model with pseudoflow prediction for precipitation nowcasting［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2021， 14： 843-857. 10.1109/jstars.2020.3040648
3	ZHANG H， SONG C Y， ZHANG J， et al. A multi-step airport delay prediction model based on spatial-temporal correlation and auxiliary features［J］. IET Intelligent Transport Systems， 2021， 15（7）： 916-928. 10.1049/itr2.12071
4	ZHANG K， JIANG Y S， LIU D H， et al. Spatio-temporal data mining for aviation delay prediction［C］// Proceedings of the IEEE 39th International Performance Computing and Communications Conference. Piscataway： IEEE， 2020： 1-7. 10.1109/ipccc50635.2020.9391561
5	ZHOU P， SHI W， TIAN J， et al. Attention-based bidirectional long short-term memory networks for relation classification［C］// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2016： 207-212. 10.18653/v1/p16-2034
6	ZHANG H， SONG C Y， WANG H， et al. Airport delay prediction based on spatiotemporal analysis and Bi-LSTM sequence learning［C］// Proceedings of the 2019 Chinese Automation Congress. Piscataway： IEEE， 2019： 5080-5085. 10.1109/cac48633.2019.8996754
7	屈景怡，曹磊，陈敏，等. 基于团簇随机连接的CliqueNet航班延误预测模型［J］. 计算机应用， 2020， 40（8）：2420-2427. 10.11772/j.issn.1001-9081.2019112061
	QU J Y， CAO L， CHEN M， et al. CliqueNet flight delay prediction model based on clique random connection［J］. Journal of Computer Applications， 2020， 40（8）： 2420-2427. 10.11772/j.issn.1001-9081.2019112061
8	吴仁彪，李佳怡，屈景怡. 基于双通道卷积神经网络的航班延误预测模型［J］. 计算机应用， 2018， 38（7）：2100-2106， 2112. 10.11772/j.issn.1001-9081.2018010037
	WU R B， LI J Y， QU J Y. Flight delay prediction model based on dual-channel convolutional neural network［J］. Journal of Computer Applications， 2018， 38（7）： 2100-2106， 2112. 10.11772/j.issn.1001-9081.2018010037
9	屈景怡，叶萌，渠星. 基于区域残差和LSTM网络的机场延误预测模型［J］. 通信学报， 2019， 40（4）：149-159. 10.11959/j.issn.1000-436x.2019091
	QU J Y， YE M， QU X. Airport delay prediction model based on regional residual and LSTM network［J］. Journal on Communications， 2019， 40（4）： 149-159. 10.11959/j.issn.1000-436x.2019091
10	CHEN W， LI Z P， LIU C， et al. A deep learning model with Conv-LSTM networks for subway passenger congestion delay prediction［J］. Journal of Advanced Transportation， 2021， 2021： No.6645214. 10.1155/2021/6645214
11	吴仁彪，赵婷，屈景怡. 基于深度SE-DenseNet的航班延误预测模型［J］. 电子与信息学报， 2019， 41（6）：1510-1517. 10.11999/JEIT180644
	WU R B， ZHAO T， QU J Y. Flight delay prediction model based on deep SE-DenseNet［J］. Journal of Electronics and Information Technology， 2019， 41（6）： 1510-1517. 10.11999/JEIT180644
12	吴仁彪，赵娅倩，屈景怡，等. 基于CBAM- CondenseNet的航班延误波及预测模型［J］. 电子与信息学报， 2021， 43（1）：187-195. 10.11999/JEIT190794
	WU R B， ZHAO Y Q， QU J Y， et al. Flight delay propagation prediction model based on CBAM-CondenseNet［J］. Journal of Electronics and Information Technology， 2021， 43（1）： 187-195. 10.11999/JEIT190794
13	QU J Y， ZHAO T， YE M， et al. Flight delay prediction using deep convolutional neural network based on fusion of meteorological data［J］. Neural Processing Letters， 2020， 52（2）： 1461-1484. 10.1007/s11063-020-10318-4
14	PROKHORENKOVA L， GUSEV G， VOROBEV A， et al. CatBoost： unbiased boosting with categorical features［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018： 6639-6649.
15	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780. 10.1162/neco.1997.9.8.1735
16	ZHOU J， XU W. End-to-end learning of semantic role labeling using recurrent neural networks［C］// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1127-1137. 10.3115/v1/p15-1109
17	SHI X J， CHEN Z R， WANG H， et al. Convolutional LSTM network： a machine learning approach for precipitation nowcasting［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 802-810.

[1]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[2]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[3]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[4]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[5]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[6]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[7]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[8]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[9]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[10]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[11]	张郅, 李欣, 叶乃夫, 胡凯茜. 基于暗知识保护的模型窃取防御技术DKP[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2080-2086.
[12]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.
[13]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[14]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.
[15]	赵雅娟, 孟繁军, 徐行健. 在线教育学习者知识追踪综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1683-1698.

基于时空序列的Conv-LSTM航班延误预测模型

Flight delay prediction model based on Conv-LSTM with spatiotemporal sequence

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 17

相关文章 15

编辑推荐

Metrics