基于长-短时序特征融合的资源负载预测模型

doi:10.11772/j.issn.1001-9081.2021030393

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1508-1515.DOI: 10.11772/j.issn.1001-9081.2021030393

基于长-短时序特征融合的资源负载预测模型

王艺霏¹, 于雷²^,³, 滕飞¹(), 宋佳玉¹, 袁玥¹

^1.西南交通大学信息科学与技术学院, 成都 610000
^2.北京航空航天大学中法工程师学院, 北京 100000
^3.北京航空航天大学杭州创新研究院(余杭), 杭州 310000

收稿日期:2021-03-16 修回日期:2021-06-08 接受日期:2021-06-11 发布日期:2022-06-11 出版日期:2022-05-10
通讯作者: 滕飞
作者简介:王艺霏（1996—），女，山西吕梁人，硕士研究生，主要研究方向：云计算、大数据挖掘
于雷（1972—），男，山东淄博人，副教授，博士，主要研究方向：大数据计算中心能耗优化与仿真、基于深度学习的图像处理、自然语言处理与分类
滕飞（1984—），女，山东淄博人，副教授，博士，CCF会员，主要研究方向：云计算、医疗信息、工业大数据挖掘 fteng@swjtu.edu.cn
宋佳玉（1995—），女，四川成都人，硕士研究生，主要研究方向：大数据挖掘、时间序列预测
袁玥（1997—），女，四川泸州人，硕士研究生，主要研究方向：大数据挖掘、深度学习。
基金资助:
四川省科技项目(2019YJ0214);北京市自然科学基金资助项目(4192030)

Resource load prediction model based on long-short time series feature fusion

Yifei WANG¹, Lei YU²^,³, Fei TENG¹(), Jiayu SONG¹, Yue YUAN¹

^1.School of Information Sciences and Technology，Southwest Jiaotong University，Chengdu Sichuan 610000，China
^2.Sino? french Engineer School，Beihang University，Beijing 100000，China
^3.Beihang Hangzhou Institute for Innovation at Yuhang，Hangzhou Zhejiang 310000，China

Received:2021-03-16 Revised:2021-06-08 Accepted:2021-06-11 Online:2022-06-11 Published:2022-05-10
Contact: Fei TENG
About author:WANG Yifei， born in 1996， M. S. candidate. Her researchinterests include cloud computing，big data mining.
YU Lei， born in 1972，Ph. D.，associate professor. His researchinterests include energy consumption optimization and simulation of big data computing center，image processing based on deep learning，natural language processing and classification.
TENG Fei， born in 1984，Ph. D.，associate professor. Her researchinterests include cloud computing，medical informatics，industrial big data mining.
SONG Jiayu， born in 1995， M. S. candidate. Her researchinterests include big data mining，time series prediction.
YUAN Yue， born in 1997，M. S. candidate. Her research interestsinclude big data mining，deep learning.
Supported by:
Science and Technology Project of Sichuan Province(2019YJ0214);Natural Science Foundation of Beijing(4192030)

摘要/Abstract

摘要：

高准确率的资源负载预测能够为实时任务调度提供依据，从而降低能源消耗。但是，针对资源负载的时间序列的预测模型，大多是通过提取时间序列的长时序依赖特性来进行短期或者长期预测，忽略了时间序列中的短时序依赖特性。为了更好地对资源负载进行长期预测，提出了一种基于长-短时序特征融合的边缘计算资源负载预测模型。首先，利用格拉姆角场（GAF）将时间序列转变为图像格式数据，以便利用卷积神经网络（CNN）来提取特征；然后，通过卷积神经网络提取空间特征和短期数据的特征，用长短期记忆（LSTM）网络来提取时间序列的长时序依赖特征；最后，将所提取的长、短时序依赖特征通过双通道进行融合，从而实现长期资源负载预测。实验结果表明，所提出的模型在阿里云集群跟踪数据集CPU资源负载预测中的平均绝对误差（MAE）为3.823，均方根误差（RMSE）为5.274，拟合度（R²）为0.815 8，相较于单通道的CNN和LSTM模型、双通道CNN+LSTM和ConvLSTM+LSTM模型，以及资源负载预测模型LSTM-ED和XGBoost，所提模型的预测准确率更高。

关键词: 资源负载预测, 卷积神经网络, 长短期记忆网络, 格拉姆角场, 双通道, 时间序列预测

Abstract:

Resource load prediction with high accuracy can provide a basis for real-time task scheduling， thus reducing energy consumption. However， most prediction models for time series of resource load make short-term or long-term prediction by extracting the long-time series dependence characteristics of time series and neglecting the short-time series dependence characteristics of time series. In order to make a better long-term prediction of resource load， a new edge computing resource load prediction model based on long-short time series feature fusion was proposed. Firstly， the Gram Angle Field （GAF） was used to transform time series into image format data， so as to extract features by Convolutional Neural Network （CNN）. Then， the CNN was used to extract spatial features and short-term data features， the Long Short-Term Memory （LSTM） network was used to extract the long-term time series dependent features of time series. Finally， the extracted long-term and short-term time series dependent features were fused through dual-channel to realize long-term resource load prediction. Experimental results show that， the Mean Absolute Error （MAE）， Root Mean Square Error （RMSE） and R-squared（R²） of the proposed model for CPU resource load prediction in Alibaba cloud clustering tracking dataset are 3.823， 5.274， and 0.815 8 respectively. Compared with the single-channel CNN and LSTM models， dual-channel CNN+LSTM and ConvLSTM+LSTM models， and resource load prediction models such as LSTM Encoder-Decoder （LSTM-ED） and XGBoost， the proposed model can provide higher prediction accuracy.

Key words: resource load prediction, Convolution Neural Network (CNN), Long Short-Term Memory (LSTM) network, Gram Angle Field (GAF), dual-channel, time series prediction

中图分类号:

TP391

王艺霏, 于雷, 滕飞, 宋佳玉, 袁玥. 基于长-短时序特征融合的资源负载预测模型[J]. 计算机应用, 2022, 42(5): 1508-1515.

Yifei WANG, Lei YU, Fei TENG, Jiayu SONG, Yue YUAN. Resource load prediction model based on long-short time series feature fusion[J]. Journal of Computer Applications, 2022, 42(5): 1508-1515.

图/表 14

图1 CNN结构

Fig. 1 Structure of CNN

图2 RNN的时间展开

Fig. 2 Time expansion of RNN

图3 LSTM结构

Fig. 3 Structure of LSTM

图4 GAF-CNN-LSTM模型结构

Fig. 4 Structure of GAF-CNN-LSTM model

图5 ConvLSTM通道模型结构

Fig. 5 Structure of ConvlSTM channel model

图6 ConvLSTM通道数据样本构建

Fig. 6 Sample construction of ConvLSTM channel data

表1 ConvLSTM通道配置

Tab. 1 ConvLSTM channel configuration

网络层	参数
ConvLSTM2D	卷积核大小为64，卷积步长为（3，3）
LSTM（两层）	隐藏层为10
FC（两层）	输入维度为36，输出维度为6

表2 LSTM通道配置

Tab. 2 LSTM channel configuration

网络层	参数
LSTM1	隐藏层为36
LSTM2	隐藏层为20
FC	输出维度为6

表3 单通道与双通道结果对比

Tab. 3 Comparison of single-channel and dual-channel results

模型	RMSE	MAE	R²
LSTM（单通道）^［20］	6.167	4.492	0.658 0
CNN（单通道）^［19］	6.975	5.131	0.562 7
CNN+LSTM（双通道）	5.375	3.902	0.740 1
ConvLSTM+LSTM+MLP（双通道）	5.412	3.952	0.736 0
ConvLSTM+LSTM（双通道）	5.274	3.823	0.815 8

图7 双通道模型预测值与实际值对比

Fig. 7 Comparison between predicted values of dual-channel model and actual values

图8 CNN与LSTM的R2对比

Fig. 8 Coparison of R2 between CNN and LSTM

图9 不同输入的R2对比

Fig. 9 Comparison of R2 with different inputs

表4 本文模型与基准模型性能对比

Tab. 4 Performance comparison of proposed model and benchmark models

模型	RMSE	MAE	R²
ConvLSTM+LSTM	5.274	3.823	0.815 8
LSTM-ED	5.715	4.211	0.706 1
XGBoost	7.037	5.294	0.814 0

图10 不同模型训练损失函数对比

Fig. 10 Comparison of training loss functions ofdifferent models

参考文献 22

1	SUN X， ANSARI N， WANG R. Optimizing resource utilization of a data center ［J］. IEEE Communications Surveys & Tutorials， 2016， 18（4）： 2822-2846. 10.1109/comst.2016.2558203
2	PREVOST J， NAGOTHU K， KELLEY B， et al. Prediction of cloud data center networks loads using stochastic and neural models ［C］// Proceedings of the 2011 6th International Conference on System of Systems Engineering. Piscataway： IEEE， 2011： 276-281. 10.1109/sysose.2011.5966610
3	ZHANG Q， ZHANI M F， BOUTABA R， et al. HARMONY： dynamic heterogeneity-aware resource provisioning in the cloud ［C］// Proceedings of the 2013 33rd International Conference on Distributed Computing Systems. Piscataway： IEEE， 2013： 510-519. 10.1109/icdcs.2013.28
4	KUMAR T L M， SURENDRA H S， MUNIRAJAPPA R. Holt-winters exponential smoothing and sesonal ARIMA time-series technique for forecasting of onion price in Bangalore market ［J］. Mysore Journal of Agricultural Sciences， 2011， 2（1）： 602-607.
5	LI Q， HAO Q F， XIAO L M， et al. An Integrated approach to automatic management of virtualized resources in cloud environments ［J］. Computer Journal， 2011， 54（6）： 905-919. 10.1093/comjnl/bxq082
6	SUN Y S， CHEN Y F， CHEN M C. A workload analysis of live event broadcast service in cloud ［J］. Procedia Computer Science， 2013， 19（1）： 1028-1033. 10.1016/j.procs.2013.06.143
7	VERCAUTEREN T， AGGARWAL P， WANG X， et al. Hierarchical forecasting of web server workload using sequential Monte Carlo training ［J］. IEEE Transactions on Signal Processing， 2007， 55（4）： 1286-1297. 10.1109/tsp.2006.889401
8	ARDAGNA D， CASOLARI S， COLAJANNI M， et al. Dual time-scale distributed capacity allocation and load redirect algorithms for cloud systems ［J］. Journal of Parallel and Distributed Computing， 2012， 72（6）： 796-808. 10.1016/j.jpdc.2012.02.014
9	ROY N， DUBEY A， GOKHALE A. Efficient autoscaling in the cloud using predictive models for workload forecasting ［C］// Proceedings of the 2011 International Conference on Cloud Computing. Piscataway： IEEE， 2011： 500-507. 10.1109/cloud.2011.42
10	RAJARAM K， MALARVIZHI M P. Utilization based prediction model for resource provisioning ［C］// Proceedings of the 2017 International Conference on Computer. Piscataway： IEEE， 2017：1-6. 10.1109/icccsp.2017.7944099
11	KATTEPUR A， NAMBIAR M. Service demand modeling and performance prediction with single-user tests ［J］. Performance Evaluation， 2017， 110（4）： 1-21. 10.1016/j.peva.2017.02.003
12	CAO L. Support vector machines experts for time series forecasting ［J］. Neurocomputing， 2003， 51（4）： 321-339. 10.1016/s0925-2312(02)00577-5
13	EDDAHECH A， CHTOUROUS S， CHTOUROU M. Hierarchical neural networks based prediction and control of dynamic reconfiguration for multilevel embedded systems ［J］. Journal of Systems Architecture， 2013， 59（1）： 48-59. 10.1016/j.sysarc.2012.11.002
14	DANG T， TRAN N， NGUYEN B M， et al. PD-GABP： A novel prediction model applying for elastic applications in distributed environment ［C］// Proceedings of the 2016 3rd National Foundation for Science and Technology Development Conference on Information and Computer Science. Piscataway： IEEE， 2016： 240-248. 10.1109/nics.2016.7725658
15	ZHANG G， PATUWO B E， HU M Y. Forecasting with artificial neural networks： the state of the art ［J］. International Journal of Forecasting， 1998， 14（1）： 35-62.
16	VENKATESAN. A genetic algorithm based artificial neural network model for the optimization of machining processes ［J］. Neural Computing and Applications， 2009， 2（1）： 135-140.
17	VAZQUEZ C. Time series forecasting of cloud data center workloads for dynamic resource provisioning ［D］. San Antonio： The University of Texas at San Antonio， 2015： 10-15.
18	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. 10.1109/tpami.2016.2577031
19	胡荣磊，芮璐，齐筱，等.基于循环神经网络和注意力模型的文本情感分析［J］.计算机应用研究，2019，36（11）：3282-3285. 10.19734/j.issn.1001-3695.2018.05.0300
	HU R L， RUI L， QI X， et al. A novel approach to contextual sentiment analysis based on a neural network and attention model ［J］. Application Research of Computer， 2019， 36（11）： 3282-3285. 10.19734/j.issn.1001-3695.2018.05.0300
20	WANG Z， OATES T. Imaging time-series to improve classification and imputation ［C］// Proceedings of the 2015 24th International Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2015： 3939-3945.
21	NGUYEN H M， KALRA G， KIM D. Host load prediction in cloud computing using long short-term memory encoder-decoder ［J］. Journal of supercomputing， 2019， 75（11）： 7592-7605. 10.1007/s11227-019-02967-7
22	CHEN T， GUESTRIN C. XGBoost： a scalable tree boosting system ［EB/OL］. ［2016-06-09］. . 10.1145/2939672.2939785

[1]	胡鹤轩, 隋华超, 胡强, 张晔, 胡震云, 马能武. 基于图注意力网络与双阶注意力机制的径流预报模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1607-1615.
[2]	王利娥, 李小聪, 刘红翼. 融合知识图谱和差分隐私的新闻推荐方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1339-1346.
[3]	陈学勤, 陶涛, 张钟旺, 王一蕾. 融合成对编码方案及二维卷积神经网络的长短期会话推荐算法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1347-1354.
[4]	屈震, 李堃婷, 冯志玺. 基于有效通道注意力的遥感图像场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1431-1439.
[5]	李默, 芦天亮, 谢子恒. 基于代码图像合成的Android恶意软件家族分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1490-1499.
[6]	李由之, 胡志华, 陈春, 杨培蓓, 董雅静. 基于双长短期记忆网络组合的网络货运平台成交定价预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1616-1623.
[7]	李昆鹏, 张鹏程, 上官宏, 王燕玲, 杨婕, 桂志国. 基于卷积神经网络的时频域CT重建算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1308-1316.
[8]	刘志华, 陈文洁, 陈爱斌. 基于自注意力机制时频谱同源特征融合的鸟鸣声分类[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1260-1268.
[9]	罗浩然, 杨青. 基于情感词典和堆叠残差的双向长短期记忆网络的情感分析[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1099-1107.
[10]	季长清, 高志勇, 秦静, 汪祖民. 基于卷积神经网络的图像分类算法综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1044-1049.
[11]	乔桂芳, 侯守明, 刘彦彦. 基于改进卷积神经网络与支持向量机结合的面部表情识别算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1253-1259.
[12]	陈浩杰, 范江亭, 刘勇. 深度强化学习解决动态旅行商问题[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1194-1200.
[13]	汪祖民, 张志豪, 秦静, 季长清. 基于卷积神经网络的机械故障诊断技术综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1036-1043.
[14]	董永峰, 孙跃华, 高立超, 韩鹏, 季海鹏. 基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1207-1215.
[15]	潘列, 曾诚, 张海丰, 温超东, 郝儒松, 何鹏. 结合广义自回归预训练语言模型与循环卷积神经网络的文本情感分析方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1108-1115.

基于长-短时序特征融合的资源负载预测模型

Resource load prediction model based on long-short time series feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 22

相关文章 15

编辑推荐

Metrics