面向单记录的混合负载下物化视图异步增量维护任务生成

doi:10.11772/j.issn.1001-9081.2021101725

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (12): 3763-3768.DOI: 10.11772/j.issn.1001-9081.2021101725

所属专题：数据科学与技术

面向单记录的混合负载下物化视图异步增量维护任务生成

孙洋洋¹(), 姚俊萍¹, 李晓军¹, 范守祥², 王自维³

^1.火箭军工程大学 301教研室, 西安 710025
^2.中国人民解放66133部队, 北京 100043
^3.火箭军工程大学 205教研室, 西安 710025

收稿日期:2021-10-09 修回日期:2021-12-21 接受日期:2021-12-22 发布日期:2022-01-04 出版日期:2022-12-10
通讯作者: 孙洋洋
作者简介:姚俊萍（1978—），女，陕西渭南人，副教授，博士，主要研究方向：智能信息处理
李晓军（1981—），男，河北秦皇岛人，副教授，博士，主要研究方向：数据质量、信息系统、人因工程
范守祥（1986—），男，辽宁丹东人，助理工程师，硕士，主要研究方向：智能信息处理
王自维（1996—），男，甘肃平凉人，硕士研究生，主要研究方向：检测与诊断、自动化装置。

Materialized view asynchronous incremental maintenance task generation under hybrid transaction/analytical processing for single record

Yangyang SUN¹(), Junping YAO¹, Xiaojun LI¹, Shouxiang FAN², Ziwei WANG³

^1.Teaching and Research Office 301，Rocket Force University of Engineering，Xi’an Shaanxi 710025，China
^2.PLA 66133 Troop，Beijing 100043，China
^3.Teaching and Research Office 205，Rocket Force University of Engineering，Xi’an Shaanxi 710025，China

Received:2021-10-09 Revised:2021-12-21 Accepted:2021-12-22 Online:2022-01-04 Published:2022-12-10
Contact: Yangyang SUN
About author:YAO Junping，born in 1978， Ph. D.， associate professor. Her research interests include intelligent information processing.
LI Xiaojun，born in 1981， Ph. D.， associate professor. His research interests include data quality， information system， human factors engineering.
FAN Shouxiang， born in 1986， M. S， associate engineer. His research interests include intelligent information processing.
WANG Ziwei， born in 1996， M. S. candidate. His research interests include detection and diagnosis， automation device.

摘要/Abstract

摘要：

针对已有的混合负载（HTAP）下物化视图异步增量维护任务生成算法主要面向多记录，无法面向单记录生成HTAP物化视图异步增量维护任务，导致磁盘IO开销的增加，进而降低HTAP物化视图异步增量维护性能的问题，提出面向单记录的HTAP物化视图异步增量维护任务的生成方法。首先，建立面向单记录的HTAP物化视图异步增量维护任务生成的效益模型；然后，基于Q-learning设计面向单记录的HTAP物化视图异步增量维护任务的生成算法。实验结果表明，所提算法在实现面向单记录生成HTAP物化视图异步增量维护任务的基础上，将平均每秒读写操作次数（IOPS）、平均CPU利用率（2核）和平均CPU利用率（4核）至少分别降低了8.49次、1.85个百分点和0.97个百分点。

关键词: 混合负载, 物化视图维护, 强化学习, Q-learning, 异步增量维护, 单记录维护任务生成

Abstract:

Existing materialized view asynchronous incremental maintenance task generation algorithms under Hybrid Transaction/Analytical Processing （HTAP） are mainly used for multiple records and unable to generate materialized view asynchronous incremental maintenance task under HTAP for single record， which results in the increase of disk IO overhead and the performance degradation of materialized view asynchronous incremental maintenance under HTAP. Therefore， a materialized view asynchronous incremental maintenance task generation method under HTAP for single record was proposed. Firstly， the benefit model of materialized view asynchronous incremental maintenance task generation under HTAP for single record was established. Then， the materialized view asynchronous incremental maintenance task generation under HTAP for single record algorithm was designed on the basis of Q-learning. Experimental results show that materialized view asynchronous incremental maintenance task generation under HTAP for single record is realized by the proposed algorithm， and the proposed algorithm decreases the average IOPS （Input/output Operations Per Second）， average CPU utilization （2-core） and average CPU utilization （4-core） at least by 8.49 times， 1.85 percentage points and 0.97 percentage points respectively.

Key words: Hybrid Transaction/Analytical Processing (HTAP), materialized view maintenance, reinforcement learning, Q-learning, asynchronous incremental maintenance, maintenance task generation for single record

中图分类号:

TP311.5

孙洋洋, 姚俊萍, 李晓军, 范守祥, 王自维. 面向单记录的混合负载下物化视图异步增量维护任务生成[J]. 计算机应用, 2022, 42(12): 3763-3768.

Yangyang SUN, Junping YAO, Xiaojun LI, Shouxiang FAN, Ziwei WANG. Materialized view asynchronous incremental maintenance task generation under hybrid transaction/analytical processing for single record[J]. Journal of Computer Applications, 2022, 42(12): 3763-3768.

图/表 7

参考文献 23

1	SEBAA A， NOUICER A， TARI A. Impact of technology evolution on the materialised views： current issues and future trends［J］. International Journal of Business Information Systems， 2019， 30（4）： 427-462. 10.1504/ijbis.2019.099305
2	PHANI A， TEKUR C， KRISHNA R K N SAI. Commit time materialized view maintenance for bulk load operations in Teradata［C］// Proceedings of the 2019 IEEE International Conference on Electrical， Computer and Communication Technologies. Piscataway： IEEE， 2019： 1-5. 10.1109/icecct.2019.8869100
3	RANGARI A A， RAIPURKAR A R. Materialized view based data warehouse optimization［J］. Journal of Engineering and Applied Sciences， 2017， 12（12SI）： 9436-9439.
4	景苌弘，刘文洁，高锦涛，等. 面向分布式数据库的HTAP研究与实现［J］. 西北工业大学学报， 2021， 39（2）： 430-438. 10.1051/jnwpu/20213920430
	JING C H， LIU W J， GAO J T， et al. Research and implementation of HTAP for distributed database［J］. Journal of Northwestern Polytechnical University， 2021， 39（2）： 430-438. 10.1051/jnwpu/20213920430
5	DUAN H C， HU H Q， QIAN W N， et al. Incremental join view maintenance on distributed log-structured storage［J］. Frontiers of Computer Science， 2021， 15（4）： No.154607. 10.1007/s11704-020-9310-y
6	付岩，冯径，钱越英. 面向大数据的物化视图选择算法［J］. 计算机应用， 2017， 37（S1）： 250-254.
	FU Y， FENG J， QIAN Y Y. Materialized view selection algorithms for big data［J］. Journal of Computer Applications， 2017， 37（S1）： 250-254.
7	VINH N T Q， HAO D T， HANG P D T， et al. A solution for synchronous incremental maintenance of materialized views based on SQL recursive query［J］. Eastern-European Journal of Enterprise Technologies， 2019， 5（2）： 6-17. 10.15587/1729-4061.2019.180226
8	蔡磊，朱燕超，郭庆兴，等. 面向区块链的高效物化视图维护和可信查询［J］. 软件学报， 2020， 31（3）： 680-694.
	CAI L， ZHU Y C， GUO Q X， et al. Efficient materialized view maintenance and trusted query for blockchain［J］. Journal of Software， 2020， 31（3）： 680-694.
9	SOLANK S S. Incremental maintenance of a materialized view in data warehousing： an effective approach［J］. Global Journal of Computer Science and Technology， 2018， 18（3-C）： 11-17.
10	ÖZCAN F， TIAN Y， TÖZÜN P. Hybrid transactional/analytical processing： a survey［C］// Proceedings of the 2017 ACM International Conference on Management of Data. New York： ACM， 2017： 1771-1775. 10.1145/3035918.3054784
11	RAZA A， CHRYSOGELOS P， ANADIOTIS A C， et al. Adaptive HTAP through elastic resource scheduling［C］// Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data. New York： ACM， 2020： 2043-2054. 10.1145/3318464.3389783
12	SAXENA D M， BAE S， NAKHAEI A， et al. Driving in dense traffic with model-free reinforcement learning［C］// Proceedings of the 2020 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2020： 5385-5392. 10.1109/icra40945.2020.9197132
13	POLYDOROS A S， NALPANTIDIS L. Survey of model-based reinforcement learning： applications on robotics［J］. Journal of Intelligent and Robotic Systems， 2017， 86（2）： 153-173. 10.1007/s10846-017-0468-y
14	赵婷婷，孔乐，韩雅杰，等. 模型化强化学习研究综述［J］. 计算机科学与探索， 2020， 14（6）： 918-927.
	ZHAO T T， KONG L， HAN Y J， et al. Review of model-based reinforcement learning［J］. Journal of Frontiers of Computer Science and Technology， 2020， 14（6）： 918-927.
15	秦智慧，李宁，刘晓彤，等. 无模型强化学习研究综述［J］. 计算机科学， 2021， 48（3）： 180-187. 10.11896/jsjkx.200700217
	QIN Z H， LI N， LIU X T， et al. Overview of research on model-free reinforcement learning［J］. Computer Science， 2021， 48（3）： 180-187. 10.11896/jsjkx.200700217
16	刘建伟，高峰，罗雄麟. 基于值函数和策略梯度的深度强化学习综述［J］. 计算机学报， 2019， 42（6）： 1406-1438. 10.11897/SP.J.1016.2019.01406
	LIU J W， GAO F， LUO X L. Survey of deep reinforcement learning based on value function and policy gradient［J］. Chinese Journal of Computers， 2019， 42（6）： 1406-1438. 10.11897/SP.J.1016.2019.01406
17	CHEN H K， DAI X Y， CAI H， et al. Large-scale interactive recommendation with tree-structured policy gradient［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 3312-3320. 10.1609/aaai.v33i01.33013312
18	刘思嘉，童向荣. 基于强化学习的城市交通路径规划［J］. 计算机应用， 2021， 41（1）： 185-190. 10.11772/j.issn.1001-9081.2020060949
	LIU S J， TONG X R. Urban transportation path planning based on reinforcement learning［J］. Journal of Computer Applications， 2021， 41（1）： 185-190. 10.11772/j.issn.1001-9081.2020060949
19	WATKINS C J C S. Learning from delayed rewards［D/OL］. Cambridge： King’s College， 1989 ［2021-09-12］..
20	OTTONI A L C， NEPOMUCENO E G， DE OLIVEIRA M S， et al. Reinforcement learning algorithms in global path planning for mobile robot［J］. Soft Computing， 2020， 24（6）： 4441-4453. 10.1007/s00500-019-04206-w
21	LOW E S， ONG P， CHEAH K C. Solving the optimal path planning of a mobile robot using improved Q-learning［J］. Robotics and Autonomous Systems， 2019， 115： 143-161. 10.1016/j.robot.2019.02.013
22	SARKAR S， KUNDU A. Performance enhancement of cloud based storage using disk scheduling technique［J］. International Journal of Cloud Applications and Computing， 2020， 10（1）： 46-63. 10.4018/ijcac.2020010104
23	ZHANG Z Z， PAN Z Y， KOCHENDERFER M J. Weighted double Q-learning［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2017： 3455-3461.

参数	设置
商品类型	按量付费
地域	华北2（北京）
可用区	华北2可用区H
引擎版本	6.0标准版
节点数量（master）	1
节点规格（segment）	2C16G或4C32G
节点数量（segment）	4
存储磁盘类型	ESSD云盘
加密类型	不加密
节点存储容量（segment）	50 GB

参数	设置
商品类型	按量付费
地域	华北2（北京）
可用区	华北2可用区H
引擎版本	6.0标准版
节点数量（master）	1
节点规格（segment）	2C16G或4C32G
节点数量（segment）	4
存储磁盘类型	ESSD云盘
加密类型	不加密
节点存储容量（segment）	50 GB

参数	值
max_episodes	1 000
α	0.8
γ	0.9
ε	0.9

参数	值
max_episodes	1 000
α	0.8
γ	0.9
ε	0.9

实验id	MVM_QL	无算法	差值
1	8.42	17.48	9.06
2	8.59	17.60	9.01
3	8.66	17.45	8.79
4	8.22	17.31	9.09
5	8.85	17.34	8.49
6	8.26	17.58	9.32
7	8.58	18.65	10.07
8	8.37	17.34	8.97
9	8.44	17.79	9.35
10	8.62	17.65	9.03

面向单记录的混合负载下物化视图异步增量维护任务生成

Materialized view asynchronous incremental maintenance task generation under hybrid transaction/analytical processing for single record

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 23

相关文章 15

编辑推荐

Metrics

实验id	数据量/GB	CPU/核	内存/GB
1	0.03	2	16
2	0.03	4	32
3	0.09	2	16
4	0.09	4	32
5	0.15	2	16
6	0.15	4	32
7	0.21	2	16
8	0.21	4	32
9	0.27	2	16
10	0.27	4	32

实验id	MVM_QL	无算法	差值
1	1.45	3.49	2.04
3	1.55	3.52	1.97
5	1.75	3.60	1.85
7	1.67	3.85	2.18
9	1.81	4.00	2.19

实验id	MVM_QL	无算法	差值
2	0.83	1.91	1.08
4	0.85	1.82	0.97
6	0.71	1.76	1.05
8	0.74	1.73	0.99
10	0.89	1.91	1.02

[1]	肖海林, 黄天义, 代秋香, 张跃军, 张中山. 基于轨迹预测的安全强化学习自动变道决策方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2958-2963.
[2]	何浩东, 符浩, 王强, 周帅, 刘伟. 基于深度强化学习的多机器人路径跟随与编队[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2626-2633.
[3]	周毅, 高华, 田永谌. 基于裁剪优化和策略指导的近端策略优化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2334-2341.
[4]	马天, 席润韬, 吕佳豪, 曾奕杰, 杨嘉怡, 张杰慧. 基于深度强化学习的移动机器人三维路径规划方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2055-2064.
[5]	赵晓焱, 韩威, 张俊娜, 袁培燕. 基于异步深度强化学习的车联网协作卸载策略[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1501-1510.
[6]	唐睿, 庞川林, 张睿智, 刘川, 岳士博. D2D通信增强的蜂窝网络中基于DDPG的资源分配[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1562-1569.
[7]	陈发堂, 黄淼, 金宇峰. 面向用户需求的低轨卫星资源分配算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1242-1247.
[8]	秦鑫彤, 宋政育, 侯天为, 王飞越, 孙昕, 黎伟. 基于自适应p持续的移动自组网信道接入和资源分配算法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 863-868.
[9]	李源潮, 陶重犇, 王琛. 基于最大熵深度强化学习的双足机器人步态控制方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 445-451.
[10]	宋紫阳, 李军怀, 王怀军, 苏鑫, 于蕾. 基于路径模仿和SAC强化学习的机械臂路径规划算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 439-444.
[11]	邓辅秦, 官桧锋, 谭朝恩, 付兰慧, 王宏民, 林天麟, 张建民. 基于请求与应答通信机制和局部注意力机制的多机器人强化学习路径规划方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 432-438.
[12]	余家宸, 杨晔. 基于裁剪近端策略优化算法的软机械臂不规则物体抓取[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3629-3638.
[13]	王昱, 关智慧, 李远鹏. 基于轨迹预测和分布式MADDPG的无人机集群追击决策[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3623-3628.
[14]	龙杰, 谢良, 徐海蛟. 集成的深度强化学习投资组合模型[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 300-310.
[15]	王昱, 任田君, 范子琳. 基于引导Minimax-DDQN的无人机空战机动决策[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2636-2643.