面向单记录的混合负载下物化视图异步增量维护任务生成

doi:10.11772/j.issn.1001-9081.2021101725

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (12): 3763-3768.DOI: 10.11772/j.issn.1001-9081.2021101725

• 数据科学与技术 • 上一篇

面向单记录的混合负载下物化视图异步增量维护任务生成

孙洋洋¹(), 姚俊萍¹, 李晓军¹, 范守祥², 王自维³

^1.火箭军工程大学 301教研室, 西安 710025
^2.中国人民解放66133部队, 北京 100043
^3.火箭军工程大学 205教研室, 西安 710025

收稿日期:2021-10-09 修回日期:2021-12-21 接受日期:2021-12-22 发布日期:2022-01-04 出版日期:2022-12-10
通讯作者: 孙洋洋
作者简介:姚俊萍（1978—），女，陕西渭南人，副教授，博士，主要研究方向：智能信息处理
李晓军（1981—），男，河北秦皇岛人，副教授，博士，主要研究方向：数据质量、信息系统、人因工程
范守祥（1986—），男，辽宁丹东人，助理工程师，硕士，主要研究方向：智能信息处理
王自维（1996—），男，甘肃平凉人，硕士研究生，主要研究方向：检测与诊断、自动化装置。

Materialized view asynchronous incremental maintenance task generation under hybrid transaction/analytical processing for single record

Yangyang SUN¹(), Junping YAO¹, Xiaojun LI¹, Shouxiang FAN², Ziwei WANG³

^1.Teaching and Research Office 301，Rocket Force University of Engineering，Xi’an Shaanxi 710025，China
^2.PLA 66133 Troop，Beijing 100043，China
^3.Teaching and Research Office 205，Rocket Force University of Engineering，Xi’an Shaanxi 710025，China

Received:2021-10-09 Revised:2021-12-21 Accepted:2021-12-22 Online:2022-01-04 Published:2022-12-10
Contact: Yangyang SUN
About author:YAO Junping，born in 1978， Ph. D.， associate professor. Her research interests include intelligent information processing.
LI Xiaojun，born in 1981， Ph. D.， associate professor. His research interests include data quality， information system， human factors engineering.
FAN Shouxiang， born in 1986， M. S， associate engineer. His research interests include intelligent information processing.
WANG Ziwei， born in 1996， M. S. candidate. His research interests include detection and diagnosis， automation device.

摘要/Abstract

摘要：

针对已有的混合负载（HTAP）下物化视图异步增量维护任务生成算法主要面向多记录，无法面向单记录生成HTAP物化视图异步增量维护任务，导致磁盘IO开销的增加，进而降低HTAP物化视图异步增量维护性能的问题，提出面向单记录的HTAP物化视图异步增量维护任务的生成方法。首先，建立面向单记录的HTAP物化视图异步增量维护任务生成的效益模型；然后，基于Q-learning设计面向单记录的HTAP物化视图异步增量维护任务的生成算法。实验结果表明，所提算法在实现面向单记录生成HTAP物化视图异步增量维护任务的基础上，将平均每秒读写操作次数（IOPS）、平均CPU利用率（2核）和平均CPU利用率（4核）至少分别降低了8.49次、1.85个百分点和0.97个百分点。

关键词: 混合负载, 物化视图维护, 强化学习, Q-learning, 异步增量维护, 单记录维护任务生成

Abstract:

Existing materialized view asynchronous incremental maintenance task generation algorithms under Hybrid Transaction/Analytical Processing （HTAP） are mainly used for multiple records and unable to generate materialized view asynchronous incremental maintenance task under HTAP for single record， which results in the increase of disk IO overhead and the performance degradation of materialized view asynchronous incremental maintenance under HTAP. Therefore， a materialized view asynchronous incremental maintenance task generation method under HTAP for single record was proposed. Firstly， the benefit model of materialized view asynchronous incremental maintenance task generation under HTAP for single record was established. Then， the materialized view asynchronous incremental maintenance task generation under HTAP for single record algorithm was designed on the basis of Q-learning. Experimental results show that materialized view asynchronous incremental maintenance task generation under HTAP for single record is realized by the proposed algorithm， and the proposed algorithm decreases the average IOPS （Input/output Operations Per Second）， average CPU utilization （2-core） and average CPU utilization （4-core） at least by 8.49 times， 1.85 percentage points and 0.97 percentage points respectively.

Key words: Hybrid Transaction/Analytical Processing (HTAP), materialized view maintenance, reinforcement learning, Q-learning, asynchronous incremental maintenance, maintenance task generation for single record

中图分类号:

TP311.5

孙洋洋, 姚俊萍, 李晓军, 范守祥, 王自维. 面向单记录的混合负载下物化视图异步增量维护任务生成[J]. 计算机应用, 2022, 42(12): 3763-3768.

Yangyang SUN, Junping YAO, Xiaojun LI, Shouxiang FAN, Ziwei WANG. Materialized view asynchronous incremental maintenance task generation under hybrid transaction/analytical processing for single record[J]. Journal of Computer Applications, 2022, 42(12): 3763-3768.

图/表 7

参考文献 23

1	SEBAA A， NOUICER A， TARI A. Impact of technology evolution on the materialised views： current issues and future trends［J］. International Journal of Business Information Systems， 2019， 30（4）： 427-462. 10.1504/ijbis.2019.099305
2	PHANI A， TEKUR C， KRISHNA R K N SAI. Commit time materialized view maintenance for bulk load operations in Teradata［C］// Proceedings of the 2019 IEEE International Conference on Electrical， Computer and Communication Technologies. Piscataway： IEEE， 2019： 1-5. 10.1109/icecct.2019.8869100
3	RANGARI A A， RAIPURKAR A R. Materialized view based data warehouse optimization［J］. Journal of Engineering and Applied Sciences， 2017， 12（12SI）： 9436-9439.
4	景苌弘，刘文洁，高锦涛，等. 面向分布式数据库的HTAP研究与实现［J］. 西北工业大学学报， 2021， 39（2）： 430-438. 10.1051/jnwpu/20213920430
	JING C H， LIU W J， GAO J T， et al. Research and implementation of HTAP for distributed database［J］. Journal of Northwestern Polytechnical University， 2021， 39（2）： 430-438. 10.1051/jnwpu/20213920430
5	DUAN H C， HU H Q， QIAN W N， et al. Incremental join view maintenance on distributed log-structured storage［J］. Frontiers of Computer Science， 2021， 15（4）： No.154607. 10.1007/s11704-020-9310-y
6	付岩，冯径，钱越英. 面向大数据的物化视图选择算法［J］. 计算机应用， 2017， 37（S1）： 250-254.
	FU Y， FENG J， QIAN Y Y. Materialized view selection algorithms for big data［J］. Journal of Computer Applications， 2017， 37（S1）： 250-254.
7	VINH N T Q， HAO D T， HANG P D T， et al. A solution for synchronous incremental maintenance of materialized views based on SQL recursive query［J］. Eastern-European Journal of Enterprise Technologies， 2019， 5（2）： 6-17. 10.15587/1729-4061.2019.180226
8	蔡磊，朱燕超，郭庆兴，等. 面向区块链的高效物化视图维护和可信查询［J］. 软件学报， 2020， 31（3）： 680-694.
	CAI L， ZHU Y C， GUO Q X， et al. Efficient materialized view maintenance and trusted query for blockchain［J］. Journal of Software， 2020， 31（3）： 680-694.
9	SOLANK S S. Incremental maintenance of a materialized view in data warehousing： an effective approach［J］. Global Journal of Computer Science and Technology， 2018， 18（3-C）： 11-17.
10	ÖZCAN F， TIAN Y， TÖZÜN P. Hybrid transactional/analytical processing： a survey［C］// Proceedings of the 2017 ACM International Conference on Management of Data. New York： ACM， 2017： 1771-1775. 10.1145/3035918.3054784
11	RAZA A， CHRYSOGELOS P， ANADIOTIS A C， et al. Adaptive HTAP through elastic resource scheduling［C］// Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data. New York： ACM， 2020： 2043-2054. 10.1145/3318464.3389783
12	SAXENA D M， BAE S， NAKHAEI A， et al. Driving in dense traffic with model-free reinforcement learning［C］// Proceedings of the 2020 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2020： 5385-5392. 10.1109/icra40945.2020.9197132
13	POLYDOROS A S， NALPANTIDIS L. Survey of model-based reinforcement learning： applications on robotics［J］. Journal of Intelligent and Robotic Systems， 2017， 86（2）： 153-173. 10.1007/s10846-017-0468-y
14	赵婷婷，孔乐，韩雅杰，等. 模型化强化学习研究综述［J］. 计算机科学与探索， 2020， 14（6）： 918-927.
	ZHAO T T， KONG L， HAN Y J， et al. Review of model-based reinforcement learning［J］. Journal of Frontiers of Computer Science and Technology， 2020， 14（6）： 918-927.
15	秦智慧，李宁，刘晓彤，等. 无模型强化学习研究综述［J］. 计算机科学， 2021， 48（3）： 180-187. 10.11896/jsjkx.200700217
	QIN Z H， LI N， LIU X T， et al. Overview of research on model-free reinforcement learning［J］. Computer Science， 2021， 48（3）： 180-187. 10.11896/jsjkx.200700217
16	刘建伟，高峰，罗雄麟. 基于值函数和策略梯度的深度强化学习综述［J］. 计算机学报， 2019， 42（6）： 1406-1438. 10.11897/SP.J.1016.2019.01406
	LIU J W， GAO F， LUO X L. Survey of deep reinforcement learning based on value function and policy gradient［J］. Chinese Journal of Computers， 2019， 42（6）： 1406-1438. 10.11897/SP.J.1016.2019.01406
17	CHEN H K， DAI X Y， CAI H， et al. Large-scale interactive recommendation with tree-structured policy gradient［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 3312-3320. 10.1609/aaai.v33i01.33013312
18	刘思嘉，童向荣. 基于强化学习的城市交通路径规划［J］. 计算机应用， 2021， 41（1）： 185-190. 10.11772/j.issn.1001-9081.2020060949
	LIU S J， TONG X R. Urban transportation path planning based on reinforcement learning［J］. Journal of Computer Applications， 2021， 41（1）： 185-190. 10.11772/j.issn.1001-9081.2020060949
19	WATKINS C J C S. Learning from delayed rewards［D/OL］. Cambridge： King’s College， 1989 ［2021-09-12］..
20	OTTONI A L C， NEPOMUCENO E G， DE OLIVEIRA M S， et al. Reinforcement learning algorithms in global path planning for mobile robot［J］. Soft Computing， 2020， 24（6）： 4441-4453. 10.1007/s00500-019-04206-w
21	LOW E S， ONG P， CHEAH K C. Solving the optimal path planning of a mobile robot using improved Q-learning［J］. Robotics and Autonomous Systems， 2019， 115： 143-161. 10.1016/j.robot.2019.02.013
22	SARKAR S， KUNDU A. Performance enhancement of cloud based storage using disk scheduling technique［J］. International Journal of Cloud Applications and Computing， 2020， 10（1）： 46-63. 10.4018/ijcac.2020010104
23	ZHANG Z Z， PAN Z Y， KOCHENDERFER M J. Weighted double Q-learning［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2017： 3455-3461.

参数	设置
商品类型	按量付费
地域	华北2（北京）
可用区	华北2可用区H
引擎版本	6.0标准版
节点数量（master）	1
节点规格（segment）	2C16G或4C32G
节点数量（segment）	4
存储磁盘类型	ESSD云盘
加密类型	不加密
节点存储容量（segment）	50 GB

参数	设置
商品类型	按量付费
地域	华北2（北京）
可用区	华北2可用区H
引擎版本	6.0标准版
节点数量（master）	1
节点规格（segment）	2C16G或4C32G
节点数量（segment）	4
存储磁盘类型	ESSD云盘
加密类型	不加密
节点存储容量（segment）	50 GB

参数	值
max_episodes	1 000
α	0.8
γ	0.9
ε	0.9

参数	值
max_episodes	1 000
α	0.8
γ	0.9
ε	0.9

实验id	MVM_QL	无算法	差值
1	8.42	17.48	9.06
2	8.59	17.60	9.01
3	8.66	17.45	8.79
4	8.22	17.31	9.09
5	8.85	17.34	8.49
6	8.26	17.58	9.32
7	8.58	18.65	10.07
8	8.37	17.34	8.97
9	8.44	17.79	9.35
10	8.62	17.65	9.03

面向单记录的混合负载下物化视图异步增量维护任务生成

Materialized view asynchronous incremental maintenance task generation under hybrid transaction/analytical processing for single record

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 23

相关文章 15

编辑推荐

Metrics

实验id	数据量/GB	CPU/核	内存/GB
1	0.03	2	16
2	0.03	4	32
3	0.09	2	16
4	0.09	4	32
5	0.15	2	16
6	0.15	4	32
7	0.21	2	16
8	0.21	4	32
9	0.27	2	16
10	0.27	4	32

实验id	MVM_QL	无算法	差值
1	1.45	3.49	2.04
3	1.55	3.52	1.97
5	1.75	3.60	1.85
7	1.67	3.85	2.18
9	1.81	4.00	2.19

实验id	MVM_QL	无算法	差值
2	0.83	1.91	1.08
4	0.85	1.82	0.97
6	0.71	1.76	1.05
8	0.74	1.73	0.99
10	0.89	1.91	1.02

[1]	罗飞, 白梦伟. 基于强化学习的交通情景问题决策优化[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2361-2368.
[2]	刘炎培, 陈宁宁, 朱运静, 王丽萍. 面向5G/Beyond 5G的移动边缘缓存优化技术综述[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2487-2500.
[3]	邓世权, 叶绪国. 基于深度Q网络的多目标任务卸载算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1668-1674.
[4]	赵海妮, 焦健. 基于强化学习的渗透路径推荐模型[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1689-1694.
[5]	谭庆, 李辉, 吴昊霖, 王壮, 邓书超. 基于奖励预测误差的内在好奇心方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1822-1828.
[6]	邓绍斌, 朱军, 周晓锋, 李帅, 刘舒锐. 基于局部策略交互探索的深度确定性策略梯度的工业过程控制方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1642-1648.
[7]	陈浩杰, 范江亭, 刘勇. 深度强化学习解决动态旅行商问题[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1194-1200.
[8]	李学明, 吴国豪, 周尚波, 林晓然, 谢洪斌. 基于分数阶网络和强化学习的图像实例分割模型[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 574-583.
[9]	郭潇, 李春山, 张宇跃, 初佃辉. 基于自适应多目标强化学习的服务集成方法[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3500-3505.
[10]	臧嵘, 王莉, 史腾飞. 基于注意力消息共享的多智能体强化学习[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3346-3353.
[11]	石兵, 黄茜子, 宋兆翔, 徐建桥. 基于用户激励的共享单车调度策略[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3395-3403.
[12]	徐郁, 朱韵攸, 刘筱, 邓雨婷, 廖勇. 基于深度强化学习的电力物资配送多目标路径优化[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3252-3258.
[13]	曾柏森, 钟勇, 牛宪华. 基于因子分解机用于安全探索的Q表初始化方法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 209-214.
[14]	周烁, 仇润鹤, 唐旻俊. 基于禁忌搜索和Q-learning的CR-NOMA系统的功率分配算法[J]. 计算机应用, 2021, 41(7): 2026-2032.
[15]	王建平, 王刚, 毛晓彬, 马恩琪. 基于深度强化学习的二连杆机械臂运动控制方法[J]. 计算机应用, 2021, 41(6): 1799-1804.