基于时空序列的Conv-LSTM航班延误预测模型

doi:10.11772/j.issn.1001-9081.2021091613

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (10): 3275-3282.DOI: 10.11772/j.issn.1001-9081.2021091613

• 前沿与综合应用 • 上一篇

基于时空序列的Conv-LSTM航班延误预测模型

屈景怡¹, 杨柳¹, 陈旭阳¹, 王茜²

^1.天津市智能信号与图像处理重点实验室(中国民航大学), 天津 300300
^2.中国民用航空华北地区空中交通管理局天津分局, 天津 300300

收稿日期:2021-09-13 修回日期:2022-01-05 接受日期:2022-01-11 发布日期:2022-04-15 出版日期:2022-10-10
通讯作者: 屈景怡
作者简介:第一联系人：屈景怡（1978—），女，天津人，教授，博士，主要研究方向：航空运输大数据、深度学习; qujingyicauc@163.com
杨柳（1996—），女，宁夏银川人，硕士研究生，主要研究方向：深度学习、神经网络
陈旭阳（1996—），男，辽宁沈阳人，硕士研究生，主要研究方向：航空运输大数据
王茜（1984—），女，天津人，工程师，主要研究方向：空中交通管理。
基金资助:
国家自然科学基金资助项目(U1833105);天津市自然科学基金资助项目(19JCYBJC15900)

Flight delay prediction model based on Conv-LSTM with spatiotemporal sequence

Jingyi QU¹, Liu YANG¹, Xuyang CHEN¹, Qian WANG²

^1.Tianjin Key Laboratory of Advanced Signal Processing （Civil Aviation University of China），Tianjin 300300，China
^2.Tianjin Air Traf?c Management Station，CAAC North China Regional Administration，Tianjin 300300，China

Received:2021-09-13 Revised:2022-01-05 Accepted:2022-01-11 Online:2022-04-15 Published:2022-10-10
Contact: Jingyi QU
About author:QU Jingyi, born in 1978， Ph. D. ， professor. Her research interests include big data of air transportation， deep learning.
YANG Liu, born in 1996， M. S. candidate. Her research interests include deep learning， neural networks.
CHEN Xuyang， born in 1996， M. S. candidate. His research interests include big data of air transportation.
WANG Qian, born in 1984， engineer. Her research interests include air traffic management.
Supported by:
National Natural Science Foundation of China(U1833105);Natural Science Foundation of Tianjin(19JCYBJC15900)

摘要/Abstract

摘要：

精准的航班延误预测结果可以为大面积航班延误的预防提供巨大的参考价值。航班延误预测是在特定空间下做时间序列预测，然而目前已有预测方法多为两种或多种算法的结合，存在算法间的融合问题。针对上述问题，提出了一种综合考虑时空序列的卷积长短时记忆（Conv-LSTM）网络航班延误预测模型。所提模型在长短时记忆（LSTM）网络提取时间特征的基础上，将网络的输入和权重矩阵进行卷积来提取空间特征，从而充分利用数据集包含的时间和空间信息。实验结果表明，与LSTM、仅考虑空间信息的卷积神经网络（CNN）模型相比，Conv-LSTM模型的准确率分别提高了0.65个百分点和2.36个百分点。由此可见，同时考虑时空特性可以在航班延误问题中获得更精确的预测结果。此外，基于所提模型设计并实现了基于浏览器/服务器（B/S）架构的航班延误分析系统，并且该系统也可以应用于空中交通管理局流量控制中心。

关键词: 航班延误预测, 时空序列, 深度学习, 卷积长短时记忆网络, 气象信息, 航班信息

Abstract:

The accurate flight delay prediction results can provide a great reference value for the prevention of large-scale flight delays. The flight delays prediction is a time-series prediction in a specific space， however most of the existing prediction methods are the combination of two or more algorithms， and there is a problem of fusion between algorithms. In order to solve the problem above， a Convolutional Long Short-Term Memory （Conv-LSTM） network flight delay prediction model was proposed that considers the temporal and spatial sequences comprehensively. In this model， on the basis that the temporal features were extracted by Long Short-Term Memory （LSTM） network， the input of the network and the weight matrix were convolved to extract spatial features， thereby making full use of the temporal and spatial information contained in the dataset. Experimental results show that the accuracy of the Conv-LSTM model is improved by 0.65 percentage points compared with LSTM， and it is 2.36 percentage points higher than that of the Convolutional Neural Network （CNN） model that only considers spatial information. It can be seen that with considering the temporal and spatial characteristics at the same time， more accurate prediction results can be obtained in the flight delay problem. In addition， based on the proposed model， a flight delay analysis system based on Browser/Server （B/S） architecture was designed and implemented， which can be applied to the air traffic administration flow control center.

Key words: flight delay prediction, spatiotemporal sequence, deep learning, Convolutional Long Short-Term Memory (Conv-LSTM) network, meteorological information, flight information

中图分类号:

TP183

屈景怡, 杨柳, 陈旭阳, 王茜. 基于时空序列的Conv-LSTM航班延误预测模型[J]. 计算机应用, 2022, 42(10): 3275-3282.

Jingyi QU, Liu YANG, Xuyang CHEN, Qian WANG. Flight delay prediction model based on Conv-LSTM with spatiotemporal sequence[J]. Journal of Computer Applications, 2022, 42(10): 3275-3282.

图/表 15

图1 航班延误预测模型整体结构

Fig. 1 Overall structure of flight delay prediction model

图2 数据预处理流程

Fig. 2 Data preprocessing flow

图3 天津机场一段时间内的航班延误统计数据

Fig. 3 Statistics of flight delays at Tianjin Airport during a certain period of time

图4 序列化过程

Fig. 4 Serialization process

表1 网络结构组成和参数量

Tab. 1 Composition of network structure and number of parameters

网络层	输出维度	参数量
Reshape	（15，8，9，1）	0
Conv-LSTM-1	（15，8，9，8）	1 472
Batch-Normalization-1	（15，8，9，8）	32
Conv-LSTM-2	（15，8，9，16）	9 280
Batch-Normalization-2	（15，8，9，16）	64
Conv-LSTM-3	（15，8，9，8）	5 792
Batch-Normalization-3	（15，8，9，8）	32
Flatten	（8 640）	0
Dense	（5）	43 205

图5 LSTM与Bi-LSTM单元结构对比

Fig. 5 Comparison of unit structure of LSTM and Bi-LSTM

图6 Bi-LSTM与Conv-LSTM网络结构对比

Fig. 6 Comparison of network structure of Bi-LSTM and Conv-LSTM

图7 模型前向与反向传播流程

Fig. 7 Flow of forward and back propagation of model

表2 实验环境参数

Tab. 2 Parameters of experimental environment

参数	值	参数	值
损失函数	交叉熵	卷积核大小	3×3
学习率	0.000 01	序列长度	15
优化器	Adam（ $β 1$ =0.9， $β 2$ =0.999）	批处理大小	256
批归一化	$ξ = 10 - 3$	迭代次数	100
每层滤波器的个数	4/8/4

表2 实验环境参数

Tab. 2 Parameters of experimental environment

参数	值	参数	值
损失函数	交叉熵	卷积核大小	3×3
学习率	0.000 01	序列长度	15
优化器	Adam（ $β 1$ =0.9， $β 2$ =0.999）	批处理大小	256
批归一化	$ξ = 10 - 3$	迭代次数	100
每层滤波器的个数	4/8/4

表3 气象数据对准确率的影响

Tab. 3 Influence of meteorological data on accuracy

数据集	数据量	准确率/%
航班数据	59 724	83.58
航班融合1 min气象	58 586	85.26
航班融合10 min气象	591 858	99.22

表4 序列长度对准确率和训练时间的影响

Tab. 4 Influence of sequence length on accuracy and training time

序列长度	每轮训练时间/s	准确率/%
1	71	98.94
3	126	98.95
5	180	98.89
7	239	98.99
9	297	99.02
11	351	99.06
13	422	99.15
15	465	99.22
17	748	99.20

表5 不同数据集上各模型准确率对比 (%)

Tab. 5 Accuracy comparison of different models on different datasets

数据集	Conv-2D	Bi-LSTM			Conv-LSTM
数据集	Conv-2D	LSTM-1	LSTM-2	LSTM-3	Conv-LSTM-1	Conv-LSTM-2	Conv-LSTM-3
平均值	95.85	96.63	97.40	97.56	96.99	97.84	98.21
ZBAA	96.21	97.01	97.57	97.85	97.23	98.07	98.36
ZBAD	97.06	96.52	97.25	97.48	97.37	97.88	98.02
ZBTJ	92.70	95.26	96.15	96.20	95.02	96.45	97.25
ZBSJ	97.44	97.74	98.64	98.72	98.35	98.96	99.22

图8 不同网络结构下的准确率

Fig. 8 Accuracies under different network structures

图9 不同网络结构下的损失值

Fig. 9 Loss values under different network structures

图10 航班延误预测系统架构

Fig. 10 Architecture of flight delay prediction system

参考文献 17

1	李娟，曾维理，刘丹丹，等. 基于时空长短期记忆网络的机场航班延误预测［C/OL］// 2019世界交通运输大会论文集. ［2021-07-28］..
	LI J， ZENG W L， LIU D D， et al. Spatial-temporal long short-term memory networks for airport flight delay prediction［C/OL］// Proceedings of the 2019 World Transport Convention.［2021-07-28］..
2	LUO C Y， LI X T， YE Y M. PFST-LSTM： a spatiotemporal LSTM model with pseudoflow prediction for precipitation nowcasting［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2021， 14： 843-857. 10.1109/jstars.2020.3040648
3	ZHANG H， SONG C Y， ZHANG J， et al. A multi-step airport delay prediction model based on spatial-temporal correlation and auxiliary features［J］. IET Intelligent Transport Systems， 2021， 15（7）： 916-928. 10.1049/itr2.12071
4	ZHANG K， JIANG Y S， LIU D H， et al. Spatio-temporal data mining for aviation delay prediction［C］// Proceedings of the IEEE 39th International Performance Computing and Communications Conference. Piscataway： IEEE， 2020： 1-7. 10.1109/ipccc50635.2020.9391561
5	ZHOU P， SHI W， TIAN J， et al. Attention-based bidirectional long short-term memory networks for relation classification［C］// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2016： 207-212. 10.18653/v1/p16-2034
6	ZHANG H， SONG C Y， WANG H， et al. Airport delay prediction based on spatiotemporal analysis and Bi-LSTM sequence learning［C］// Proceedings of the 2019 Chinese Automation Congress. Piscataway： IEEE， 2019： 5080-5085. 10.1109/cac48633.2019.8996754
7	屈景怡，曹磊，陈敏，等. 基于团簇随机连接的CliqueNet航班延误预测模型［J］. 计算机应用， 2020， 40（8）：2420-2427. 10.11772/j.issn.1001-9081.2019112061
	QU J Y， CAO L， CHEN M， et al. CliqueNet flight delay prediction model based on clique random connection［J］. Journal of Computer Applications， 2020， 40（8）： 2420-2427. 10.11772/j.issn.1001-9081.2019112061
8	吴仁彪，李佳怡，屈景怡. 基于双通道卷积神经网络的航班延误预测模型［J］. 计算机应用， 2018， 38（7）：2100-2106， 2112. 10.11772/j.issn.1001-9081.2018010037
	WU R B， LI J Y， QU J Y. Flight delay prediction model based on dual-channel convolutional neural network［J］. Journal of Computer Applications， 2018， 38（7）： 2100-2106， 2112. 10.11772/j.issn.1001-9081.2018010037
9	屈景怡，叶萌，渠星. 基于区域残差和LSTM网络的机场延误预测模型［J］. 通信学报， 2019， 40（4）：149-159. 10.11959/j.issn.1000-436x.2019091
	QU J Y， YE M， QU X. Airport delay prediction model based on regional residual and LSTM network［J］. Journal on Communications， 2019， 40（4）： 149-159. 10.11959/j.issn.1000-436x.2019091
10	CHEN W， LI Z P， LIU C， et al. A deep learning model with Conv-LSTM networks for subway passenger congestion delay prediction［J］. Journal of Advanced Transportation， 2021， 2021： No.6645214. 10.1155/2021/6645214
11	吴仁彪，赵婷，屈景怡. 基于深度SE-DenseNet的航班延误预测模型［J］. 电子与信息学报， 2019， 41（6）：1510-1517. 10.11999/JEIT180644
	WU R B， ZHAO T， QU J Y. Flight delay prediction model based on deep SE-DenseNet［J］. Journal of Electronics and Information Technology， 2019， 41（6）： 1510-1517. 10.11999/JEIT180644
12	吴仁彪，赵娅倩，屈景怡，等. 基于CBAM- CondenseNet的航班延误波及预测模型［J］. 电子与信息学报， 2021， 43（1）：187-195. 10.11999/JEIT190794
	WU R B， ZHAO Y Q， QU J Y， et al. Flight delay propagation prediction model based on CBAM-CondenseNet［J］. Journal of Electronics and Information Technology， 2021， 43（1）： 187-195. 10.11999/JEIT190794
13	QU J Y， ZHAO T， YE M， et al. Flight delay prediction using deep convolutional neural network based on fusion of meteorological data［J］. Neural Processing Letters， 2020， 52（2）： 1461-1484. 10.1007/s11063-020-10318-4
14	PROKHORENKOVA L， GUSEV G， VOROBEV A， et al. CatBoost： unbiased boosting with categorical features［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018： 6639-6649.
15	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780. 10.1162/neco.1997.9.8.1735
16	ZHOU J， XU W. End-to-end learning of semantic role labeling using recurrent neural networks［C］// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1127-1137. 10.3115/v1/p15-1109
17	SHI X J， CHEN Z R， WANG H， et al. Convolutional LSTM network： a machine learning approach for precipitation nowcasting［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 802-810.

[1]	魏佳璇, 杜世康, 于志轩, 张瑞生. 图像分类中的白盒对抗攻击技术综述[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2732-2741.
[2]	尹靖涵, 瞿绍军, 姚泽楷, 胡玄烨, 秦晓雨, 华璞靖. 基于YOLOv5的雾霾天气下交通标志识别模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2876-2884.
[3]	李敬虎, 邢前国, 郑向阳, 李琳, 王丽丽. 基于深度学习的无人机影像夜光藻赤潮提取方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2969-2974.
[4]	王一宁, 赵青杉, 秦品乐, 胡玉兰, 宗春梅. 基于轻量密集神经网络的医学图像超分辨率重建算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2586-2592.
[5]	刘亚姣, 于海涛, 王江, 于利峰, 张春晖. 基于深度学习的型钢表面多形态微小缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2601-2608.
[6]	张显杰, 张之明. 基于卷积神经网络和Transformer的手写体英文文本识别[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2394-2400.
[7]	程南江, 余贞侠, 陈琳, 乔贺辙. 基于领域自适应的多源多标签行人属性识别[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2401-2406.
[8]	刘万军, 王佳铭, 曲海成, 董利兵, 曹欣宇. 基于频谱空间域特征注意的音乐流派分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2072-2077.
[9]	韩亚茹, 闫连山, 姚涛. 基于元学习的深度哈希检索算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2015-2021.
[10]	王震宇, 张雷, 高文彬, 权威铭. 基于渐进式神经网络架构搜索的人体运动识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2058-2064.
[11]	秦庭威, 赵鹏程, 秦品乐, 曾建朝, 柴锐, 黄永琦. 基于残差注意力机制的点云配准算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2184-2191.
[12]	董宁, 程晓荣, 张铭泉. 基于物联网平台的动态权重损失函数入侵检测系统[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2118-2124.
[13]	张杨, 郝江波. 基于注意力机制和残差网络的恶意代码检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1708-1715.
[14]	苏珊, 张杨, 张冬雯. 基于深度学习的耦合度相关代码坏味检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1702-1707.
[15]	韩玉民, 郝晓燕. 基于子词嵌入和相对注意力的材料实体识别[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1862-1868.

基于时空序列的Conv-LSTM航班延误预测模型

Flight delay prediction model based on Conv-LSTM with spatiotemporal sequence

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 17

相关文章 15

编辑推荐

Metrics