基于图注意力网络与双阶注意力机制的径流预报模型

doi:10.11772/j.issn.1001-9081.2021050829

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1607-1615.DOI: 10.11772/j.issn.1001-9081.2021050829

基于图注意力网络与双阶注意力机制的径流预报模型

胡鹤轩¹^,²^,³, 隋华超¹^,², 胡强¹^,²(), 张晔¹^,², 胡震云⁴, 马能武⁵^,⁶^,⁷

^1.河海大学计算机与信息学院，南京 211100
^2.水利部水利大数据重点实验室（河海大学），南京 211100
^3.西藏农牧学院电气工程学院，西藏林芝 860000
^4.河海大学商学院，南京 211100
^5.长江勘测规划设计研究有限责任公司，武汉 430010
^6.长江空间信息技术工程有限公司，武汉 430010
^7.湖北省水利信息感知与大数据工程技术研究中心，武汉 430010

收稿日期:2021-05-19 修回日期:2021-10-08 接受日期:2021-10-09 发布日期:2021-10-08 出版日期:2022-05-10
通讯作者: 胡强
作者简介:胡鹤轩（1975—），男，江苏南京人，教授，博士，CCF会员，主要研究方向：人工智能、机器学习、水利大数据
隋华超（1997—），男，山东青岛人，硕士研究生，CCF会员，主要研究方向：数据挖掘、人工智能、水利大数据
胡强（1992—），男，江苏镇江人，博士研究生，CCF会员，主要研究方向：机器学习、人工智能 huqianghhu@163.com
张晔（1976—），女，江苏南京人，讲师，博士，主要研究方向：水利大数据、人工智能
胡震云（1968—），女，江苏南京人，教授，博士，主要研究方向：水资源管理
马能武（1965—），男，湖北天门人，教授级高级工程师，博士，主要研究方向：水利水电安全监测。
基金资助:
国家重点研发计划项目(2018YFC0407904)

Runoff forecast model based on graph attention network and dual-stage attention mechanism

Hexuan HU¹^,²^,³, Huachao SUI¹^,², Qiang HU¹^,²(), Ye ZHANG¹^,², Zhenyun HU⁴, Nengwu MA⁵^,⁶^,⁷

^1.College of Computer and Information，Hohai University，Nanjing Jiangsu 211100，China
^2.Key Laboratory of Water Big Data Technology of Ministry of Water Resources （Hohai University），Nanjing Jiangsu 211100，China
^3.College of Electrical Engineering，Tibet Agriculture and Animal Husbandry University，Linzhi Xizang 860000，China
^4.Business School，Hohai University，Nanjing Jiangsu 211100，China
^5.Yangtze River Survey Planning and Design Research Company Limited，Wuhan Hubei 430010，China
^6.Changjiang Space Information Technology Engineering Company Limited，Wuhan Hubei 430010，China
^7.Hubei Research Center of Water Conservancy Information Perception and Large Data Engineering Technology，Wuhan Hubei 430010，China

Received:2021-05-19 Revised:2021-10-08 Accepted:2021-10-09 Online:2021-10-08 Published:2022-05-10
Contact: Qiang HU
About author:HU Hexuan， born in 1975， Ph. D.， professor. His researchinterests include artificial intelligence，machine learning，big data of water conservancy.
SUI Huachao， born in 1997， M. S. candidate. His researchinterests include data mining，artificial intelligence，big data of waterconservancy.
HU Qiang， born in 1992，Ph. D. candidate. His research interestsinclude machine learning，artificial intelligence.
ZHANG Ye， born in 1976，Ph. D.，lecturer. Her research interestsinclude big data of water conservancy，artificial intelligence.
HU Zhenyun， born in 1968，Ph. D.，professor. Her researchinterests include water resource management.
MA Nengwu， born in 1965，Ph. D.，professor of engineering. Hisresearch interests include water conservancy and hydropower safety monitoring.
Supported by:
National Key Research and Development Program of China(2018YFC0407904)

摘要/Abstract

摘要：

为了提高流域径流量预报的准确率，考虑数据驱动水文模型缺乏模型透明度与物理可解释性的问题，提出了一种使用图注意力网络与基于长短期记忆网络（LSTM）的双阶注意力机制（GAT-DALSTM）模型来进行径流预报。首先，以流域站点的水文资料为基础，引入图神经网络提取流域站点的拓扑结构并生成特征向量；其次，针对水文时间序列数据的特点，建立了基于双阶注意力机制的径流预报模型对流域径流量进行预测，并通过基于注意力系数热点图的模型评估方法验证所提模型的可靠性与透明度。在屯溪流域数据集上，将所提模型与图卷积神经网络（GCN）和长短期记忆网络（LSTM）在各个预测步长下进行比较，实验结果表明，所提模型的纳什效率系数分别平均提高了3.7%和4.9%，验证了GAT-DALSTM径流预报模型的准确性。从水文与应用角度对注意力系数热点图进行分析，验证了模型的可靠性与实用性。所提模型能为提高流域径流量的预测精度与模型透明度提供技术支撑。

关键词: 图神经网络, 注意力机制, 编码器-解码器, 长短期记忆网络, 时间序列预测, 水文预报

Abstract:

To improve the accuracy of watershed runoff volume prediction， and considering the lack of model transparency and physical interpretability of data-driven hydrological model， a new runoff forecast model named Graph Attention neTwork and Dual-stage Attention mechanism-based Long Short-Term Memory network （GAT-DALSTM） was proposed. Firstly， based on the hydrological data of watershed stations， graph neural network was introduced to extract the topology of watershed stations and generate the feature vectors. Secondly， according to the characteristics of hydrological time series data， a runoff forecast model based on dual-stage attention mechanism was established to predict the watershed runoff volume， and the reliability and transparency of the proposed model were verified by the model evaluation method based on attention coefficient heat map. On the Tunxi watershed dataset， the proposed model was compared with Graph Convolution Neural network （GCN） and Long Short-Term Memory network （LSTM） under each prediction step. Experimental results show that， the Nash-Sutcliffe efficiency coefficient of the proposed model is increased by 3.7% and 4.9% on average respectively， which verifies the accuracy of GAT-DALSTM runoff forecast model. By analyzing the heat map of attention coefficient from the perspectives of hydrology and application， the reliability and practicability of the proposed model were verified. The proposed model can provide technical support for improving the prediction accuracy and model transparency of watershed runoff volume.

Key words: graph neural network, attention mechanism, encoder-decoder, Long Short-Term Memory network (LSTM), time series prediction, hydrological forecast

中图分类号:

TP183

胡鹤轩, 隋华超, 胡强, 张晔, 胡震云, 马能武. 基于图注意力网络与双阶注意力机制的径流预报模型[J]. 计算机应用, 2022, 42(5): 1607-1615.

Hexuan HU, Huachao SUI, Qiang HU, Ye ZHANG, Zhenyun HU, Nengwu MA. Runoff forecast model based on graph attention network and dual-stage attention mechanism[J]. Journal of Computer Applications, 2022, 42(5): 1607-1615.

图/表 10

参考文献 29

1	芮孝芳.论流域水文模型［J］.水利水电科技进展，2017，37（4）：1-7，58. 10.3880/j.issn.1006-7647.2017.04.001
	RUI X F. Discussion of watershed hydrological model ［J］. Advances in Science and Technology of Water Resources， 2017， 37（4）： 1-7， 58. 10.3880/j.issn.1006-7647.2017.04.001
2	黎云云，畅建霞，金文婷，等.基于SWAT模型的渭河流域分区径流模拟研究［J］.西北农林科技大学学报（自然科学版），2017，45（4）：204-212. 10.13207/j.cnki.jnwafu.2017.04.028
	LI Y Y， CHANG J X， JIN W T， et al. Runoff simulation in subzones of the Wei River Basin based on the SWAT model ［J］. Journal of Northwest A & F University （Natural Science Edition）， 2017， 45（4）： 204-212. 10.13207/j.cnki.jnwafu.2017.04.028
3	ZOUNEMAT-KERMANI M， MATTA E， COMINOLA A， et al. Neurocomputing in surface water hydrology and hydraulics： a review of two decades retrospective， current status and future prospects ［J］. Journal of Hydrology， 2020， 588： Article No.125085. 10.1016/j.jhydrol.2020.125085
4	DAWSON C W， ABRAHART R J， SHAMSELDIN A Y， et al. Flood estimation at ungauged sites using artificial neural networks ［J］. Journal of Hydrology， 2006， 319（1/2/3/4）： 391-409. 10.1016/j.jhydrol.2005.07.032
5	HALFF A H， HALFF H M， AZMOODEH M. Predicting runoff from rainfall using neural networks ［C］// Proceedings of the 1993 Symposium： Engineering Hydrology. New York： American Society of Civil Engineers， 1993： 760-765.
6	RUMELHART D E， HINTON G E， WILLIAMS R J. Learning internal representations by error propagation ［M］// COLLINS A， SMITH E E. Readings in Cognitive Science： A Perspective from Psychology and Artificial Intelligence. San Francisco： Morgan Kaufmann， 1988： 399-421. 10.1016/b978-1-4832-1446-7.50035-2
7	CARRIERE P， MOHAGHEGH S， GASKARI R. Performance of a virtual runoff hydrograph system ［J］. Journal of Water Resources Planning and Management， 1996， 122（6）： 421-427. 10.1061/(asce)0733-9496(1996)122:6(421)
8	HSU K L， GUPTA H V， SOROOSHIAN S. Application of a recurrent neural network to rainfall-runoff modeling ［C］// Proceedings of the 1997 24th Annual Water Resources Planning and Management Conference. New York： American Society of Civil Engineers， 1997： 68-73.
9	NAGESH KUMAR D， SRINIVASA RAJU K， SATHISH T. River flow forecasting using recurrent neural networks ［J］. Water Resources Management， 2004， 18（2）： 143-161. 10.1023/b:warm.0000024727.94701.12
10	BENGIO Y， SIMARD P， FRASCONI P. Learning long-term dependencies with gradient descent is difficult ［J］. IEEE Transactions on Neural Networks， 1994， 5（2）： 157-166. 10.1109/72.279181
11	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780. 10.1162/neco.1997.9.8.1735
12	KRATZERT F， KLOTZ D， BRENNER C， et al. Rainfall-runoff modelling using Long Short-Term Memory （LSTM） networks ［J］. Hydrology and Earth System Sciences， 2018， 22（11）： 6005-6022. 10.5194/hess-22-6005-2018
13	ZHANG D， LINDHOLM G， RATNAWEER H. Use long short-term memory to enhance Internet of Things for combined sewer overflow monitoring ［J］. Journal of Hydrology， 2018， 556： 409-418. 10.1016/j.jhydrol.2017.11.018
14	朱跃龙，赵群，余宇峰，等.基于时空特征挖掘的流量过程智能模拟方法［J］.河海大学学报（自然科学版），2021，49（1）：7-12. 10.3876/j.issn.1000-1980.2021.01.002
	ZHU Y L， ZHAO Q， YU Y F， et al. Intelligent simulation method of runoff process based on spatiotemporal feature mining［J］. Journal of Hohai University （Natural Sciences）， 2021， 49（1）： 7-12. 10.3876/j.issn.1000-1980.2021.01.002
15	YIN Z K， LIAO W H， LEI X H， et al. Comparing the hydrological responses of conceptual and process-based models with varying rain gauge density and distribution ［J］. Sustainability， 2018， 10（9）： Article No.3209. 10.3390/su10093209
16	CHAKRABORTY S， TOMSETT R， RAGHAVENDRA R， et al. Interpretability of deep learning models： a survey of results ［C］// Proceedings of the 2017 IEEE SmartWorld， Ubiquitous Intelligence & Computing， Advanced & Trusted Computed， Scalable Computing & Communications， Cloud & Big Data Computing， Internet of People and Smart City Innovation. Piscataway： IEEE： 2017： 1-6. 10.1109/uic-atc.2017.8397411
17	M van der LAURENS， HINTON G. Visualizing data using t-SNE ［J］. Journal of Machine Learning Research， 2008， 9： 2579-2605.
18	RIBEIRO M T， SINGH S， GUESTRIN C. “Why should I trust you？”： explaining the predictions of any classifier ［C］// Proceedings of the 2016 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining . New York： ACM， 2016： 1135-1144. 10.1145/2939672.2939778
19	SAMEK W， BINDER A， MONTAVON G， et al. Evaluating the visualization of what a deep neural network has learned ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2016， 28（11）： 2660-2673. 10.1109/tnnls.2016.2599820
20	CHOI E， BAHADORI M T， KULAS J A， et al. RETAIN： interpretable predictive model in healthcare using reverse time attention mechanism ［C］// Proceedings of the 2016 30th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2016： 3512-3520.
21	王天罡，张晓滨，马红叶，等.可解释的层次注意力机制网络危重症预警［J］.计算机工程与应用，2021，57（5）：131-138.
	WANG T G， ZHANG X B， MA H Y， et al. Early warning of critical illness based on explicable hierarchical attention mechanism ［J］. Computer Engineering and Applications， 2021， 57（5）： 131-138.
22	DING Y K， ZHU Y L， FENG J， et al. Interpretable spatio-temporal attention LSTM model for flood forecasting ［J］. Neurocomputing， 2020， 403： 348-359. 10.1016/j.neucom.2020.04.110
23	VELIČKOVIĆ P， CUCURULL G， CASANOVA A， et al. Graph attention networks ［EB/OL］. ［2021-03-09］. .
24	ZHU L P， WAN B H， LI C Y， et al. Dyadic relational graph convolutional networks for skeleton-based human interaction recognition ［J］. Pattern Recognition， 2021， 115： Article No.107920. 10.1016/j.patcog.2021.107920
25	夏军，谢平.论概念性元素的推移和坦化作用［J］.水利学报，1995（10）：65-68.
	XIA J， XIE P. On the transposition and attenuation of conceptual elements ［J］. Journal of Hydraulic Engineering， 1995（10）： 65-68.
26	YAO C， LI Z J， YU Z B， et al. A priori parameter estimates for a distributed， grid-based Xinanjiang model using geographically based information ［J］. Journal of Hydrology， 2012， 468/487/488/469： 47-62. 10.1016/j.jhydrol.2012.08.025
27	王斌，黄金柏，宫兴龙.基于HWSD的流域栅格土壤水分常数估算［J］.水文，2015，35（2）：8-11. 10.3969/j.issn.1000-0852.2015.02.002
	WANG B， HUANG J B， GONG X L. Grid soil moisture constants estimation based on HWSD over basin ［J］. Journal of China Hydrology， 2015， 35（2）： 8-11. 10.3969/j.issn.1000-0852.2015.02.002
28	杨哲，张行南，夏达忠，等.基于包气带厚度的流域蓄水容量计算及水文模拟［J］.水力发电学报，2015，34（3）：8-13.
	YANG Z， ZHANG X N， XIA D Z， et al. Calculation of maximum thickness of unsaturated zone and modeling of hydrological process in Xingxing watershed ［J］. Journal of Hydroelectric Engineering， 2015， 34（3）： 8-13.
29	QIN Y， SONG D J， CHEN H F， et al. A dual-stage attention-based recurrent neural network for time series prediction ［C］// Proceedings of the 2017 26th International Joint Conference on Artificial Intelligence. California： IJCAI Organization， 2017： 2627-2633. 10.24963/ijcai.2017/366

字段名称	内容	格式
flood_date	日期	string
precip	降雨	double
quant	径流量	double
evapor	蒸发量	double
permeable_runoff	透水产流总量	double
impervious_runoff	不透水产流总量	double

字段名称	内容	格式
flood_date	日期	string
precip	降雨	double
quant	径流量	double
evapor	蒸发量	double
permeable_runoff	透水产流总量	double
impervious_runoff	不透水产流总量	double

预测步长	模型	NSE	MAE	RMSE
t+1	ANN	0.84	94.62	241.93
	CatBoost	0.93	56.10	130.83
	GCN	0.96	38.31	99.88
	LSTM	0.96	43.06	98.31
	GAT-DALSTM	0.97	35.35	94.80
t+2	ANN	0.82	103.61	261.75
	CatBoost	0.90	61.81	160.17
	GCN	0.93	58.72	141.12
	LSTM	0.93	60.05	142.40
	GAT-DALSTM	0.95	56.25	136.80
t+3	ANN	0.79	110.20	284.71
	CatBoost	0.87	66.42	171.41
	GCN	0.92	65.07	147.54
	LSTM	0.92	65.19	155.00
	GAT-DALSTM	0.93	64.72	147.50
t+4	ANN	0.75	115.96	304.42
	CatBoost	0.82	76.11	196.84
	GCN	0.89	70.74	177.44
	LSTM	0.88	73.08	183.40
	GAT-DALSTM	0.92	68.35	174.80
t+5	ANN	0.70	121.22	323.06
	CatBoost	0.76	76.37	215.21
	GCN	0.83	75.07	196.91
	LSTM	0.85	75.49	200.80
	GAT-DALSTM	0.88	73.75	195.80
t+6	ANN	0.65	126.97	340.76
	CatBoost	0.69	91.28	244.35
	GCN	0.72	86.15	248.05
	LSTM	0.74	88.72	249.70
	GAT-DALSTM	0.80	84.86	230.80
t+7	ANN	0.59	132.07	357.18
	CatBoost	0.62	98.75	258.79
	GCN	0.69	90.50	237.18
	LSTM	0.72	91.54	259.00
	GAT-DALSTM	0.76	89.64	235.40

预测步长	模型	NSE	MAE	RMSE
t+1	ANN	0.84	94.62	241.93
	CatBoost	0.93	56.10	130.83
	GCN	0.96	38.31	99.88
	LSTM	0.96	43.06	98.31
	GAT-DALSTM	0.97	35.35	94.80
t+2	ANN	0.82	103.61	261.75
	CatBoost	0.90	61.81	160.17
	GCN	0.93	58.72	141.12
	LSTM	0.93	60.05	142.40
	GAT-DALSTM	0.95	56.25	136.80
t+3	ANN	0.79	110.20	284.71
	CatBoost	0.87	66.42	171.41
	GCN	0.92	65.07	147.54
	LSTM	0.92	65.19	155.00
	GAT-DALSTM	0.93	64.72	147.50
t+4	ANN	0.75	115.96	304.42
	CatBoost	0.82	76.11	196.84
	GCN	0.89	70.74	177.44
	LSTM	0.88	73.08	183.40
	GAT-DALSTM	0.92	68.35	174.80
t+5	ANN	0.70	121.22	323.06
	CatBoost	0.76	76.37	215.21
	GCN	0.83	75.07	196.91
	LSTM	0.85	75.49	200.80
	GAT-DALSTM	0.88	73.75	195.80
t+6	ANN	0.65	126.97	340.76
	CatBoost	0.69	91.28	244.35
	GCN	0.72	86.15	248.05
	LSTM	0.74	88.72	249.70
	GAT-DALSTM	0.80	84.86	230.80
t+7	ANN	0.59	132.07	357.18
	CatBoost	0.62	98.75	258.79
	GCN	0.69	90.50	237.18
	LSTM	0.72	91.54	259.00
	GAT-DALSTM	0.76	89.64	235.40

[1]	陈代丽, 许国良. 基于注意力机制学习域内变化的跨域行人重识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1391-1397.
[2]	庄屹, 赵海涛. 面向三维点云单目标跟踪的提案聚合网络[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1407-1416.
[3]	屈震, 李堃婷, 冯志玺. 基于有效通道注意力的遥感图像场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1431-1439.
[4]	王艺霏, 于雷, 滕飞, 宋佳玉, 袁玥. 基于长-短时序特征融合的资源负载预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1508-1515.
[5]	张晔, 刘蓉, 刘明, 陈明. 基于多通道注意力机制的图像超分辨率重建网络[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1563-1569.
[6]	李由之, 胡志华, 陈春, 杨培蓓, 董雅静. 基于双长短期记忆网络组合的网络货运平台成交定价预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1616-1623.
[7]	李晓寒, 贾华丁, 程雪, 李太勇. 基于改进遗传算法和图神经网络的股市波动预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1624-1633.
[8]	任炜, 白鹤翔. 基于全局与局部标签关系的多标签图像分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1383-1390.
[9]	杨先凤, 赵家和, 李自强. 融合字注释的文本分类模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1317-1323.
[10]	胡新荣, 张君宇, 彭涛, 刘军平, 何儒汉, 何凯. 级联跨域特征融合的虚拟试衣[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1269-1274.
[11]	董永峰, 孙跃华, 高立超, 韩鹏, 季海鹏. 基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1207-1215.
[12]	蒋雯静, 熊熙, 李中志, 李斌勇. 基于无采样协作知识图网络的推荐系统[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1057-1064.
[13]	张锦, 屈佩琪, 孙程, 罗蒙. 基于改进YOLOv5的安全帽佩戴检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1292-1300.
[14]	刘志华, 陈文洁, 陈爱斌. 基于自注意力机制时频谱同源特征融合的鸟鸣声分类[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1260-1268.
[15]	顾军华, 王锐, 李宁宁, 张素琪. 融合协同过滤信息的知识图注意力网络[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1087-1092.

基于图注意力网络与双阶注意力机制的径流预报模型

Runoff forecast model based on graph attention network and dual-stage attention mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 29

相关文章 15

编辑推荐

Metrics