结合变种残差模型和Transformer的城市公路短时交通流预测

doi:10.11772/j.issn.1001-9081.2023091262

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (9): 2947-2951.DOI: 10.11772/j.issn.1001-9081.2023091262

结合变种残差模型和Transformer的城市公路短时交通流预测

杨鑫¹, 陈雪妮¹, 吴春江²(), 周世杰¹

^1.电子科技大学信息与软件工程学院，成都 610054
^2.成都信息工程大学软件工程学院，成都 610225

收稿日期:2023-09-18 修回日期:2023-12-04 接受日期:2023-12-05 发布日期:2024-03-15 出版日期:2024-09-10
通讯作者: 吴春江
作者简介:杨鑫（1998—），男，四川成都人，硕士研究生，主要研究方向：智慧交通
陈雪妮（1998—），女，四川成都人，硕士研究生，主要研究方向：智慧交通
周世杰（1970—），男，四川自贡人，教授，博士生导师，博士，CCF高级会员，主要研究方向：交通仿真、网络安全、工业软件。
基金资助:
国家自然科学基金资助项目(62272089);四川省科技厅面上项目(2022YFG0207)

Short-term traffic flow prediction of urban highway based on variant residual model and Transformer

Xin YANG¹, Xueni CHEN¹, Chunjiang WU²(), Shijie ZHOU¹

^1.School of Information and Software Engineering，University of Electronic Science and Technology of China，Chengdu Sichuan 610054，China
^2.School of Software Engineering，Chengdu University of Information Technology，Chengdu Sichuan 610225，China

Received:2023-09-18 Revised:2023-12-04 Accepted:2023-12-05 Online:2024-03-15 Published:2024-09-10
Contact: Chunjiang WU
About author:YANG Xin， born in 1998， M. S. candidate. His research interests include smart transportation.
CHEN Xueni， born in 1998， M. S. candidate. Her research interests include smart transportation.
ZHOU Shijie， born in 1970， Ph. D.， professor. His research interests include traffic simulation， cybersecurity， industrial software.
Supported by:
National Natural Science Foundation of China(62272089);Sichuan Provincial Department of Science and Technology General Project(2022YFG0207)

摘要/Abstract

摘要：

城市公路交通流的预测受到历史交通流量和相邻车道交通流量的影响，蕴含了复杂的时空特征。针对传统交通流预测模型卷积长短时记忆（ConvLSTM）网络进行交通流预测时，未将时空特征分开提取而造成的特征提取不充分、特征信息混淆和特征信息缺失等问题，对ConvLSTM模型作出改进。首先，提取每个采样时刻的交通流数据的短期时间特征和空间特征，并在特定的维度下将交通流的短期时空特征融合；其次，进行残差映射；最后，将映射后的短期时空特征交由Transformer模型捕捉交通流数据长期的时空特征，并根据所捕捉的长期特征对未来时刻每个采样点交通流进行预测。使用加州城市快速路数据对模型进行验证，以平均绝对误差（MAE）作为模型评价指标时，所提模型相较于Conv-Transformer模型，预测精度提高了18%，验证了所提模型的有效性。

关键词: 短时交通流预测, 交通流, 时空特征提取, 残差结构, Transformer, 组合模型

Abstract:

The prediction of urban highway traffic flow is influenced by historical traffic flow and neighboring lane traffic flow， involving complex spatio-temporal features. In order to address the insufficient feature extraction， feature confusion， and feature information loss caused by not separating the spatio-temporal features in the traditional traffic flow prediction model of Convolutional Long Short-Term Memory （ConvLSTM） network， some improvements were made to the ConvLSTM model. Firstly， the short-term temporal features and spatial features of the traffic flow data at each sampling moment were extracted， and the short-term spatio-temporal features of the traffic flow were fused in specific dimensions. Secondly， residual mapping was performed. Finally， the mapped short-term spatio-temporal features were input to the Transformer model to capture the long-term spatio-temporal features of the traffic flow data， based on which the traffic flow at each sampling point in the future moment was predicted. On California urban freeway data， with Mean Absolute Error （MAE） as the model evaluation metric， the proposed model has the prediction accuracy improved by 18% compared to the Conv-Transformer model， validating the effectiveness of the proposed model.

Key words: short-term traffic flow prediction, traffic flow, spatio-temporal feature extraction, residual structure, Transformer, combination model

中图分类号:

TP18

杨鑫, 陈雪妮, 吴春江, 周世杰. 结合变种残差模型和Transformer的城市公路短时交通流预测[J]. 计算机应用, 2024, 44(9): 2947-2951.

Xin YANG, Xueni CHEN, Chunjiang WU, Shijie ZHOU. Short-term traffic flow prediction of urban highway based on variant residual model and Transformer[J]. Journal of Computer Applications, 2024, 44(9): 2947-2951.

图/表 7

图1 V-ResNet模型的结构

Fig. 1 Structure of V-ResNet model

图2 本文模型的结构

Fig. 2 Structure of proposed model

表1 不同优化器优化后的模型误差结果

Tab. 1 Model error results optimized by different optimizers

优化器	MAE	RMSE
SGD	19.22	23.87
Adam	17.28	21.71
NAdam	15.69	19.77

表2 神经网络模型超参数设置

Tab. 2 Hyperparameter setting of neural network model

参数	取值
输入尺寸	［Batch_size，4，31，11］
Transformer编码器输入维度	32
卷积补0圈数	提取空间特征为1；提取时间特征为1
卷积核步长	1
Transformer编码器层数	4
多头注意力机制的头数	8
激活函数	ReLU

图3 交通流量真实值与预测值对比

Fig. 3 Comparison of real value and predicted value of traffic flow

表3 不同模型的性能对比结果

Tab. 3 Performance comparison results of different models

模型	MAE	RMSE
ConvLSTM	22.65	26.59
Conv-Transformer	19.15	22.25
SeqtoSeq	20.38	27.39
SeqtoSeq-attention	18.72	25.03
本文模型	15.69	19.77

图4 不同模型的交通流量预测结果对比

Fig. 4 Comparison of traffic flow prediction results by different models

参考文献 21

1	中商情报网.2022年中国汽车及新能源汽车保有量数据统计情况［EB/OL］. ［2023-01-12］. .
	China Business Intelligence Network. In 2022， the statistics of the amount of data in China automobile and new energy vehicles ［EB/OL］. ［2023-01-12］. .
2	姚俊峰，何瑞，史童童，等. 基于机器学习的交通流预测方法综述［J］. 交通运输工程学报， 2023， 23（3）： 44-67.
	YAO J F， HE R， SHI T T， et al. Review on machine learning-based traffic flow prediction methods ［J］. Journal of Traffic and Transportation Engineering， 2023， 23（3）： 44-67.
3	罗向龙，李丹阳，杨彧，等.基于KNN-LSTM的短时交通流预测［J］.北京工业大学学报，2018，44（12）：1521-1527.
	LUO X L， LI D Y， YANG Y， et al. Short-time traffic flow prediction based on KNN-LSTM ［J］. Journal of Beijing University of Technology， 2018，44（12）： 1521-1527.
4	PEARL J. Probabilistic Reasoning in Intelligent Systems： Networks of Plausible Inference ［M］. San Francisco： Morgan Kaufmann， 1988： 117-124.
5	CORTES C， VAPNIK V. Support-vector networks ［J］. Machine Learning， 1995， 20（3）： 273-297.
6	WU Q， JIANG Z， HONG K， et al. Tensor-based recurrent neural network and multi-modal prediction with its applications in traffic network management ［J］. IEEE Transactions on Network and Service Management， 2021， 18（1）： 780-792.
7	MA X， TAO Z， WANG Y， et al. Long short-term memory neural network for traffic speed prediction using remote microwave sensor data ［J］. Transportation Research Part C： Emerging Technologies， 2015， 54： 187-197.
8	CHUNG J， GULCEHRE C， CHO K H， et al. Empirical evaluation of gated recurrent neural networks on sequence modeling ［EB/OL］. ［2023-04-29］. .
9	MA X， DAI Z， HE Z， et al. Learning traffic as images： a deep convolutional neural network for large-scale transportation network speed prediction ［J］. Sensors， 2017， 17（4）： No. 818.
10	CAO X， ZHONG Y， ZHOU Y， et al. Interactive temporal recurrent convolution network for traffic prediction in data centers［J］. IEEE Access， 2017， 6： 5276-5289.
11	SHI X， CHEN Z， WANG H，et al. Convolutional LSTM network：a machine learning approach for precipitation nowcasting ［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge：MIT Press，2015：802-810.
12	TIAN Y， WEI C， XU D. Traffic flow prediction based on stack autoencoder and long short-term memory network ［C］// Proceedings of the 2020 IEEE 3rd International Conference on Automation， Electronics and Electrical Engineering. Piscataway： IEEE， 2020： 385-388.
13	ZHANG J， ZHENG Y， QI D，et al. Predicting citywide crowd flows using deep spatio-temporal residual networks ［J］. Artificial Intelligence， 2018， 259： 147-166.
14	GUO S， LIN Y， FENG N， et al. Attention based spatial-temporal graph convolutional networks for traffic flow forecasting ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2019， 33（1）： 922-929.
15	ZHENG C， FAN X， WANG C， et al. GMAN： a graph multi-attention network for traffic prediction ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（1）： 1234-1241.
16	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
17	SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9.
18	HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2261-2269.
19	Caltrans performance measurement system ［DS/OL］. ［2022-12-23］. .
20	SUTSKEVER I， VINYALS O， LE Q V. Sequence to sequence learning with neural networks ［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems — Volume 2. Cambridge： MIT Press， 2014： 3104-3112.
21	BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate ［EB/OL］. ［2023-01-29］. .

[1]	贾洁茹, 杨建超, 张硕蕊, 闫涛, 陈斌. 基于自蒸馏视觉Transformer的无监督行人重识别[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2893-2902.
[2]	李金金, 桑国明, 张益嘉. APK-CNN和Transformer增强的多域虚假新闻检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2674-2682.
[3]	方介泼, 陶重犇. 应对零日攻击的混合车联网入侵检测系统[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2763-2769.
[4]	薛桂香, 王辉, 周卫峰, 刘瑜, 李岩. 基于知识图谱和时空扩散图卷积网络的港口交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2952-2957.
[5]	任烈弘, 黄铝文, 田旭, 段飞. 基于DFT的频率敏感双分支Transformer多变量长时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2739-2746.
[6]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[7]	丁宇伟, 石洪波, 李杰, 梁敏. 基于局部和全局特征解耦的图像去噪网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2571-2579.
[8]	邓凯丽, 魏伟波, 潘振宽. 改进掩码自编码器的工业缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2595-2603.
[9]	杨帆, 邹窈, 朱明志, 马振伟, 程大伟, 蒋昌俊. 基于图注意力Transformer神经网络的信用卡欺诈检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2634-2642.
[10]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[11]	吕锡婷, 赵敬华, 荣海迎, 赵嘉乐. 基于Transformer和关系图卷积网络的信息传播预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1760-1766.
[12]	黎施彬, 龚俊, 汤圣君. 基于Graph Transformer的半监督异配图表示学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1816-1823.
[13]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[14]	孙子文, 钱立志, 杨传栋, 高一博, 陆庆阳, 袁广林. 基于Transformer的视觉目标跟踪方法综述[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1644-1654.
[15]	席治远, 唐超, 童安炀, 王文剑. 基于双路时空网络的驾驶员行为识别[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1511-1519.

结合变种残差模型和Transformer的城市公路短时交通流预测

Short-term traffic flow prediction of urban highway based on variant residual model and Transformer

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 21

相关文章 15

编辑推荐

Metrics