基于图注意力网络与双阶注意力机制的径流预报模型

doi:10.11772/j.issn.1001-9081.2021050829

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1607-1615.DOI: 10.11772/j.issn.1001-9081.2021050829

所属专题：前沿与综合应用

基于图注意力网络与双阶注意力机制的径流预报模型

胡鹤轩¹^,²^,³, 隋华超¹^,², 胡强¹^,²(), 张晔¹^,², 胡震云⁴, 马能武⁵^,⁶^,⁷

^1.河海大学计算机与信息学院，南京 211100
^2.水利部水利大数据重点实验室（河海大学），南京 211100
^3.西藏农牧学院电气工程学院，西藏林芝 860000
^4.河海大学商学院，南京 211100
^5.长江勘测规划设计研究有限责任公司，武汉 430010
^6.长江空间信息技术工程有限公司，武汉 430010
^7.湖北省水利信息感知与大数据工程技术研究中心，武汉 430010

收稿日期:2021-05-19 修回日期:2021-10-08 接受日期:2021-10-09 发布日期:2021-10-08 出版日期:2022-05-10
通讯作者: 胡强
作者简介:胡鹤轩（1975—），男，江苏南京人，教授，博士，CCF会员，主要研究方向：人工智能、机器学习、水利大数据
隋华超（1997—），男，山东青岛人，硕士研究生，CCF会员，主要研究方向：数据挖掘、人工智能、水利大数据
胡强（1992—），男，江苏镇江人，博士研究生，CCF会员，主要研究方向：机器学习、人工智能 huqianghhu@163.com
张晔（1976—），女，江苏南京人，讲师，博士，主要研究方向：水利大数据、人工智能
胡震云（1968—），女，江苏南京人，教授，博士，主要研究方向：水资源管理
马能武（1965—），男，湖北天门人，教授级高级工程师，博士，主要研究方向：水利水电安全监测。
基金资助:
国家重点研发计划项目(2018YFC0407904)

Runoff forecast model based on graph attention network and dual-stage attention mechanism

Hexuan HU¹^,²^,³, Huachao SUI¹^,², Qiang HU¹^,²(), Ye ZHANG¹^,², Zhenyun HU⁴, Nengwu MA⁵^,⁶^,⁷

^1.College of Computer and Information，Hohai University，Nanjing Jiangsu 211100，China
^2.Key Laboratory of Water Big Data Technology of Ministry of Water Resources （Hohai University），Nanjing Jiangsu 211100，China
^3.College of Electrical Engineering，Tibet Agriculture and Animal Husbandry University，Linzhi Xizang 860000，China
^4.Business School，Hohai University，Nanjing Jiangsu 211100，China
^5.Yangtze River Survey Planning and Design Research Company Limited，Wuhan Hubei 430010，China
^6.Changjiang Space Information Technology Engineering Company Limited，Wuhan Hubei 430010，China
^7.Hubei Research Center of Water Conservancy Information Perception and Large Data Engineering Technology，Wuhan Hubei 430010，China

Received:2021-05-19 Revised:2021-10-08 Accepted:2021-10-09 Online:2021-10-08 Published:2022-05-10
Contact: Qiang HU
About author:HU Hexuan， born in 1975， Ph. D.， professor. His researchinterests include artificial intelligence，machine learning，big data of water conservancy.
SUI Huachao， born in 1997， M. S. candidate. His researchinterests include data mining，artificial intelligence，big data of waterconservancy.
HU Qiang， born in 1992，Ph. D. candidate. His research interestsinclude machine learning，artificial intelligence.
ZHANG Ye， born in 1976，Ph. D.，lecturer. Her research interestsinclude big data of water conservancy，artificial intelligence.
HU Zhenyun， born in 1968，Ph. D.，professor. Her researchinterests include water resource management.
MA Nengwu， born in 1965，Ph. D.，professor of engineering. Hisresearch interests include water conservancy and hydropower safety monitoring.
Supported by:
National Key Research and Development Program of China(2018YFC0407904)

摘要/Abstract

摘要：

为了提高流域径流量预报的准确率，考虑数据驱动水文模型缺乏模型透明度与物理可解释性的问题，提出了一种使用图注意力网络与基于长短期记忆网络（LSTM）的双阶注意力机制（GAT-DALSTM）模型来进行径流预报。首先，以流域站点的水文资料为基础，引入图神经网络提取流域站点的拓扑结构并生成特征向量；其次，针对水文时间序列数据的特点，建立了基于双阶注意力机制的径流预报模型对流域径流量进行预测，并通过基于注意力系数热点图的模型评估方法验证所提模型的可靠性与透明度。在屯溪流域数据集上，将所提模型与图卷积神经网络（GCN）和长短期记忆网络（LSTM）在各个预测步长下进行比较，实验结果表明，所提模型的纳什效率系数分别平均提高了3.7%和4.9%，验证了GAT-DALSTM径流预报模型的准确性。从水文与应用角度对注意力系数热点图进行分析，验证了模型的可靠性与实用性。所提模型能为提高流域径流量的预测精度与模型透明度提供技术支撑。

关键词: 图神经网络, 注意力机制, 编码器-解码器, 长短期记忆网络, 时间序列预测, 水文预报

Abstract:

To improve the accuracy of watershed runoff volume prediction， and considering the lack of model transparency and physical interpretability of data-driven hydrological model， a new runoff forecast model named Graph Attention neTwork and Dual-stage Attention mechanism-based Long Short-Term Memory network （GAT-DALSTM） was proposed. Firstly， based on the hydrological data of watershed stations， graph neural network was introduced to extract the topology of watershed stations and generate the feature vectors. Secondly， according to the characteristics of hydrological time series data， a runoff forecast model based on dual-stage attention mechanism was established to predict the watershed runoff volume， and the reliability and transparency of the proposed model were verified by the model evaluation method based on attention coefficient heat map. On the Tunxi watershed dataset， the proposed model was compared with Graph Convolution Neural network （GCN） and Long Short-Term Memory network （LSTM） under each prediction step. Experimental results show that， the Nash-Sutcliffe efficiency coefficient of the proposed model is increased by 3.7% and 4.9% on average respectively， which verifies the accuracy of GAT-DALSTM runoff forecast model. By analyzing the heat map of attention coefficient from the perspectives of hydrology and application， the reliability and practicability of the proposed model were verified. The proposed model can provide technical support for improving the prediction accuracy and model transparency of watershed runoff volume.

Key words: graph neural network, attention mechanism, encoder-decoder, Long Short-Term Memory network (LSTM), time series prediction, hydrological forecast

中图分类号:

TP183

胡鹤轩, 隋华超, 胡强, 张晔, 胡震云, 马能武. 基于图注意力网络与双阶注意力机制的径流预报模型[J]. 计算机应用, 2022, 42(5): 1607-1615.

Hexuan HU, Huachao SUI, Qiang HU, Ye ZHANG, Zhenyun HU, Nengwu MA. Runoff forecast model based on graph attention network and dual-stage attention mechanism[J]. Journal of Computer Applications, 2022, 42(5): 1607-1615.

图/表 10

参考文献 29

1	芮孝芳.论流域水文模型［J］.水利水电科技进展，2017，37（4）：1-7，58. 10.3880/j.issn.1006-7647.2017.04.001
	RUI X F. Discussion of watershed hydrological model ［J］. Advances in Science and Technology of Water Resources， 2017， 37（4）： 1-7， 58. 10.3880/j.issn.1006-7647.2017.04.001
2	黎云云，畅建霞，金文婷，等.基于SWAT模型的渭河流域分区径流模拟研究［J］.西北农林科技大学学报（自然科学版），2017，45（4）：204-212. 10.13207/j.cnki.jnwafu.2017.04.028
	LI Y Y， CHANG J X， JIN W T， et al. Runoff simulation in subzones of the Wei River Basin based on the SWAT model ［J］. Journal of Northwest A & F University （Natural Science Edition）， 2017， 45（4）： 204-212. 10.13207/j.cnki.jnwafu.2017.04.028
3	ZOUNEMAT-KERMANI M， MATTA E， COMINOLA A， et al. Neurocomputing in surface water hydrology and hydraulics： a review of two decades retrospective， current status and future prospects ［J］. Journal of Hydrology， 2020， 588： Article No.125085. 10.1016/j.jhydrol.2020.125085
4	DAWSON C W， ABRAHART R J， SHAMSELDIN A Y， et al. Flood estimation at ungauged sites using artificial neural networks ［J］. Journal of Hydrology， 2006， 319（1/2/3/4）： 391-409. 10.1016/j.jhydrol.2005.07.032
5	HALFF A H， HALFF H M， AZMOODEH M. Predicting runoff from rainfall using neural networks ［C］// Proceedings of the 1993 Symposium： Engineering Hydrology. New York： American Society of Civil Engineers， 1993： 760-765.
6	RUMELHART D E， HINTON G E， WILLIAMS R J. Learning internal representations by error propagation ［M］// COLLINS A， SMITH E E. Readings in Cognitive Science： A Perspective from Psychology and Artificial Intelligence. San Francisco： Morgan Kaufmann， 1988： 399-421. 10.1016/b978-1-4832-1446-7.50035-2
7	CARRIERE P， MOHAGHEGH S， GASKARI R. Performance of a virtual runoff hydrograph system ［J］. Journal of Water Resources Planning and Management， 1996， 122（6）： 421-427. 10.1061/(asce)0733-9496(1996)122:6(421)
8	HSU K L， GUPTA H V， SOROOSHIAN S. Application of a recurrent neural network to rainfall-runoff modeling ［C］// Proceedings of the 1997 24th Annual Water Resources Planning and Management Conference. New York： American Society of Civil Engineers， 1997： 68-73.
9	NAGESH KUMAR D， SRINIVASA RAJU K， SATHISH T. River flow forecasting using recurrent neural networks ［J］. Water Resources Management， 2004， 18（2）： 143-161. 10.1023/b:warm.0000024727.94701.12
10	BENGIO Y， SIMARD P， FRASCONI P. Learning long-term dependencies with gradient descent is difficult ［J］. IEEE Transactions on Neural Networks， 1994， 5（2）： 157-166. 10.1109/72.279181
11	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780. 10.1162/neco.1997.9.8.1735
12	KRATZERT F， KLOTZ D， BRENNER C， et al. Rainfall-runoff modelling using Long Short-Term Memory （LSTM） networks ［J］. Hydrology and Earth System Sciences， 2018， 22（11）： 6005-6022. 10.5194/hess-22-6005-2018
13	ZHANG D， LINDHOLM G， RATNAWEER H. Use long short-term memory to enhance Internet of Things for combined sewer overflow monitoring ［J］. Journal of Hydrology， 2018， 556： 409-418. 10.1016/j.jhydrol.2017.11.018
14	朱跃龙，赵群，余宇峰，等.基于时空特征挖掘的流量过程智能模拟方法［J］.河海大学学报（自然科学版），2021，49（1）：7-12. 10.3876/j.issn.1000-1980.2021.01.002
	ZHU Y L， ZHAO Q， YU Y F， et al. Intelligent simulation method of runoff process based on spatiotemporal feature mining［J］. Journal of Hohai University （Natural Sciences）， 2021， 49（1）： 7-12. 10.3876/j.issn.1000-1980.2021.01.002
15	YIN Z K， LIAO W H， LEI X H， et al. Comparing the hydrological responses of conceptual and process-based models with varying rain gauge density and distribution ［J］. Sustainability， 2018， 10（9）： Article No.3209. 10.3390/su10093209
16	CHAKRABORTY S， TOMSETT R， RAGHAVENDRA R， et al. Interpretability of deep learning models： a survey of results ［C］// Proceedings of the 2017 IEEE SmartWorld， Ubiquitous Intelligence & Computing， Advanced & Trusted Computed， Scalable Computing & Communications， Cloud & Big Data Computing， Internet of People and Smart City Innovation. Piscataway： IEEE： 2017： 1-6. 10.1109/uic-atc.2017.8397411
17	M van der LAURENS， HINTON G. Visualizing data using t-SNE ［J］. Journal of Machine Learning Research， 2008， 9： 2579-2605.
18	RIBEIRO M T， SINGH S， GUESTRIN C. “Why should I trust you？”： explaining the predictions of any classifier ［C］// Proceedings of the 2016 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining . New York： ACM， 2016： 1135-1144. 10.1145/2939672.2939778
19	SAMEK W， BINDER A， MONTAVON G， et al. Evaluating the visualization of what a deep neural network has learned ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2016， 28（11）： 2660-2673. 10.1109/tnnls.2016.2599820
20	CHOI E， BAHADORI M T， KULAS J A， et al. RETAIN： interpretable predictive model in healthcare using reverse time attention mechanism ［C］// Proceedings of the 2016 30th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2016： 3512-3520.
21	王天罡，张晓滨，马红叶，等.可解释的层次注意力机制网络危重症预警［J］.计算机工程与应用，2021，57（5）：131-138.
	WANG T G， ZHANG X B， MA H Y， et al. Early warning of critical illness based on explicable hierarchical attention mechanism ［J］. Computer Engineering and Applications， 2021， 57（5）： 131-138.
22	DING Y K， ZHU Y L， FENG J， et al. Interpretable spatio-temporal attention LSTM model for flood forecasting ［J］. Neurocomputing， 2020， 403： 348-359. 10.1016/j.neucom.2020.04.110
23	VELIČKOVIĆ P， CUCURULL G， CASANOVA A， et al. Graph attention networks ［EB/OL］. ［2021-03-09］. .
24	ZHU L P， WAN B H， LI C Y， et al. Dyadic relational graph convolutional networks for skeleton-based human interaction recognition ［J］. Pattern Recognition， 2021， 115： Article No.107920. 10.1016/j.patcog.2021.107920
25	夏军，谢平.论概念性元素的推移和坦化作用［J］.水利学报，1995（10）：65-68.
	XIA J， XIE P. On the transposition and attenuation of conceptual elements ［J］. Journal of Hydraulic Engineering， 1995（10）： 65-68.
26	YAO C， LI Z J， YU Z B， et al. A priori parameter estimates for a distributed， grid-based Xinanjiang model using geographically based information ［J］. Journal of Hydrology， 2012， 468/487/488/469： 47-62. 10.1016/j.jhydrol.2012.08.025
27	王斌，黄金柏，宫兴龙.基于HWSD的流域栅格土壤水分常数估算［J］.水文，2015，35（2）：8-11. 10.3969/j.issn.1000-0852.2015.02.002
	WANG B， HUANG J B， GONG X L. Grid soil moisture constants estimation based on HWSD over basin ［J］. Journal of China Hydrology， 2015， 35（2）： 8-11. 10.3969/j.issn.1000-0852.2015.02.002
28	杨哲，张行南，夏达忠，等.基于包气带厚度的流域蓄水容量计算及水文模拟［J］.水力发电学报，2015，34（3）：8-13.
	YANG Z， ZHANG X N， XIA D Z， et al. Calculation of maximum thickness of unsaturated zone and modeling of hydrological process in Xingxing watershed ［J］. Journal of Hydroelectric Engineering， 2015， 34（3）： 8-13.
29	QIN Y， SONG D J， CHEN H F， et al. A dual-stage attention-based recurrent neural network for time series prediction ［C］// Proceedings of the 2017 26th International Joint Conference on Artificial Intelligence. California： IJCAI Organization， 2017： 2627-2633. 10.24963/ijcai.2017/366

字段名称	内容	格式
flood_date	日期	string
precip	降雨	double
quant	径流量	double
evapor	蒸发量	double
permeable_runoff	透水产流总量	double
impervious_runoff	不透水产流总量	double

字段名称	内容	格式
flood_date	日期	string
precip	降雨	double
quant	径流量	double
evapor	蒸发量	double
permeable_runoff	透水产流总量	double
impervious_runoff	不透水产流总量	double

预测步长	模型	NSE	MAE	RMSE
t+1	ANN	0.84	94.62	241.93
	CatBoost	0.93	56.10	130.83
	GCN	0.96	38.31	99.88
	LSTM	0.96	43.06	98.31
	GAT-DALSTM	0.97	35.35	94.80
t+2	ANN	0.82	103.61	261.75
	CatBoost	0.90	61.81	160.17
	GCN	0.93	58.72	141.12
	LSTM	0.93	60.05	142.40
	GAT-DALSTM	0.95	56.25	136.80
t+3	ANN	0.79	110.20	284.71
	CatBoost	0.87	66.42	171.41
	GCN	0.92	65.07	147.54
	LSTM	0.92	65.19	155.00
	GAT-DALSTM	0.93	64.72	147.50
t+4	ANN	0.75	115.96	304.42
	CatBoost	0.82	76.11	196.84
	GCN	0.89	70.74	177.44
	LSTM	0.88	73.08	183.40
	GAT-DALSTM	0.92	68.35	174.80
t+5	ANN	0.70	121.22	323.06
	CatBoost	0.76	76.37	215.21
	GCN	0.83	75.07	196.91
	LSTM	0.85	75.49	200.80
	GAT-DALSTM	0.88	73.75	195.80
t+6	ANN	0.65	126.97	340.76
	CatBoost	0.69	91.28	244.35
	GCN	0.72	86.15	248.05
	LSTM	0.74	88.72	249.70
	GAT-DALSTM	0.80	84.86	230.80
t+7	ANN	0.59	132.07	357.18
	CatBoost	0.62	98.75	258.79
	GCN	0.69	90.50	237.18
	LSTM	0.72	91.54	259.00
	GAT-DALSTM	0.76	89.64	235.40

预测步长	模型	NSE	MAE	RMSE
t+1	ANN	0.84	94.62	241.93
	CatBoost	0.93	56.10	130.83
	GCN	0.96	38.31	99.88
	LSTM	0.96	43.06	98.31
	GAT-DALSTM	0.97	35.35	94.80
t+2	ANN	0.82	103.61	261.75
	CatBoost	0.90	61.81	160.17
	GCN	0.93	58.72	141.12
	LSTM	0.93	60.05	142.40
	GAT-DALSTM	0.95	56.25	136.80
t+3	ANN	0.79	110.20	284.71
	CatBoost	0.87	66.42	171.41
	GCN	0.92	65.07	147.54
	LSTM	0.92	65.19	155.00
	GAT-DALSTM	0.93	64.72	147.50
t+4	ANN	0.75	115.96	304.42
	CatBoost	0.82	76.11	196.84
	GCN	0.89	70.74	177.44
	LSTM	0.88	73.08	183.40
	GAT-DALSTM	0.92	68.35	174.80
t+5	ANN	0.70	121.22	323.06
	CatBoost	0.76	76.37	215.21
	GCN	0.83	75.07	196.91
	LSTM	0.85	75.49	200.80
	GAT-DALSTM	0.88	73.75	195.80
t+6	ANN	0.65	126.97	340.76
	CatBoost	0.69	91.28	244.35
	GCN	0.72	86.15	248.05
	LSTM	0.74	88.72	249.70
	GAT-DALSTM	0.80	84.86	230.80
t+7	ANN	0.59	132.07	357.18
	CatBoost	0.62	98.75	258.79
	GCN	0.69	90.50	237.18
	LSTM	0.72	91.54	259.00
	GAT-DALSTM	0.76	89.64	235.40

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	范黎林, 曹富康, 王琬婷, 杨凯, 宋钊瑜. 基于需求模式自适应匹配的间歇性需求预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2747-2755.
[3]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[4]	杨航, 李汪根, 张根生, 王志格, 开新. 基于图神经网络的多层信息交互融合算法用于会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2719-2725.
[5]	杨兴耀, 陈羽, 于炯, 张祖莲, 陈嘉颖, 王东晓. 结合自我特征和对比学习的推荐模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2704-2710.
[6]	任烈弘, 黄铝文, 田旭, 段飞. 基于DFT的频率敏感双分支Transformer多变量长时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2739-2746.
[7]	徐志刚, 张创. 基于门控位置编码的壁画图像多级色彩还原[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2931-2937.
[8]	唐廷杰, 黄佳进, 秦进. 基于图辅助学习的会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2711-2718.
[9]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[10]	杜郁, 朱焱. 构建预训练动态图神经网络预测学术合作行为消失[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2726-2731.
[11]	杨莹, 郝晓燕, 于丹, 马垚, 陈永乐. 面向图神经网络模型提取攻击的图数据生成方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2483-2492.
[12]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[13]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[14]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[15]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.

基于图注意力网络与双阶注意力机制的径流预报模型

Runoff forecast model based on graph attention network and dual-stage attention mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 29

相关文章 15

编辑推荐

Metrics