嵌入式数据库SQLite上多版本并发控制的设计与实现

doi:10.11772/j.issn.1001-9081.2021071217

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (1): 140-147.DOI: 10.11772/j.issn.1001-9081.2021071217

嵌入式数据库SQLite上多版本并发控制的设计与实现

景子奇, 邹兆年()

哈尔滨工业大学计算机科学与技术学院，哈尔滨 150001

收稿日期:2021-07-14 修回日期:2021-10-09 接受日期:2021-10-12 发布日期:2021-10-09 出版日期:2022-01-10
通讯作者: 邹兆年
作者简介:景子奇（1999—），男，黑龙江大庆人，硕士研究生，CCF会员，主要研究方向：数据库系统
邹兆年（1979—），男，吉林长春人，教授，博士，CCF会员，主要研究方向：数据库系统、大数据分析。
基金资助:
国家自然科学基金资助项目(62072138)

Design and implementation of multi-version concurrency control on embedded database SQLite

Ziqi JING, Zhaonian ZOU()

School of Computer Science and Technology，Harbin Institute of Technology，Harbin Heilongjiang 150001，China

Received:2021-07-14 Revised:2021-10-09 Accepted:2021-10-12 Online:2021-10-09 Published:2022-01-10
Contact: Zhaonian ZOU
About author:JING Ziqi， born in 1999， M. S. candidate. His research interests include database system.
ZOU Zhaonian， born in 1979， Ph. D.， professor. His research interests include database system， big data analysis.
Supported by:
National Natural Science Foundation of China(62072138)

摘要/Abstract

摘要：

针对嵌入式数据库SQLite并发性能较低的问题，提出了一种基于多版本并发控制（MVCC）的并发控制设计。首先，设计了SQLite数据库的以提交的写事务为依据的版本划分方式，重新设计了数据记录的头部字段并以此划分了记录在不同版本访问下的可见性；然后，在SQLite原有结构基础上修改了增、删、查、改等操作与索引结构使得该数据库能在MVCC下工作；最后，对于老旧版本数据提供了一种手动的回收机制。通过实验对比测试了在该设计下的SQLite-MVCC数据库与SQLite数据库的性能区别，发现在并发度较高的状态下SQLite-MVCC数据库在相同时间内可多完成70%以上的事务。实验结果验证了所提设计可以有效提高SQLite的并发性能，使得该数据库可以应对并发情况下的需求。

关键词: 嵌入式数据库SQLite, 事务管理, 调度, 多版本并发控制, 并发执行

Abstract:

In order to solve the problem of low concurrency performance of embedded database SQLite， a concurrency control design based on Multi-Version Concurrency Control （MVCC） was proposed. Firstly， the version division method of SQLite database based on committed write transactions was designed， and the header field of data records was redesigned to divide the visibility of records under different version accesses. Then， based on the original structure of SQLite， the operations such as add， delete， check and change and the index structure were modified to make the database work under MVCC. Finally， a manual recycling mechanism was provided to handle old version data. Experiments were designed to compare and test the performance difference between SQLite-MVCC database obtained by the above design and SQLite database. It can be seen that in the state of high concurrency， SQLite-MVCC database can complete 70% more transactions in the same time. Experimental results verify that the proposed design can effectively improve the concurrency performance of SQLite， to meet the needs in concurrent case.

Key words: embedded database SQLite, transaction management, scheduling, Multi-Version Concurrency Control (MVCC), concurrent execution

中图分类号:

TP392

景子奇, 邹兆年. 嵌入式数据库SQLite上多版本并发控制的设计与实现[J]. 计算机应用, 2022, 42(1): 140-147.

Ziqi JING, Zhaonian ZOU. Design and implementation of multi-version concurrency control on embedded database SQLite[J]. Journal of Computer Applications, 2022, 42(1): 140-147.

图/表 14

图1 SQLite的体系结构

Fig.1 Architecture of SQLite

表1 SQLite中不同类型锁之间的相容性

Tab.1 Compatibility of mutex in SQLite

已持有	获取
已持有	SHARED	RESERVED	PENDING	EXCLUSIVE
SHARED	√	√	√	×
RESERVED	√	×	√	×
PENDING	×	×	×	√
EXCLUSIVE	×	×	×	×

图2 三种MVCC协议下元组的格式

Fig.2 Tuple formats under three MVCC protocols

表2 不同隔离级别的划分依据

Tab.2 Division rules of different isolation levels

隔离级别	脏读	不可重复读	幻读
读未提交	√	√	√
读提交	×	√	√
可重复读	×	×	√
可串行化	×	×	×

图3 INSERT操作的执行过程

Fig.3 Execution process of INSERT operation

图4 DELETE操作的执行过程

Fig.4 Execution process of DELETE operation

图5 UPDATE操作的执行过程

Fig.5 Execution process of UPDATE operation

图6 事务的执行流程

Fig.6 Flowchart of transaction execution

图7 非并发情况下写操作性能的对比

Fig. 7 Performance comparison of non-concurrent write operations

图8 非并发情况下读操作性能的对比

Fig. 8 Performance comparison of non-concurrent read operations

图9 不同线程数下系统的吞吐量

Fig.9 System throughput under different numbers of threads

图10 不同线程数下完成固定事务所需的时间

Fig.10 Time cost for handling same transactions using different numbers of threads

图11 元组长度对数据库大小的影响

Fig. 11 Influence of tuple length on database size

图12 不同元组长度下SQLite-MVCC并发性能的提升

Fig. 12 Concurrent performance improvement of SQLite-MVCC under different tuple lengths

参考文献 17

1	About SQLite［EB/OL］. （2020-7-20）［2021-06-19］.. 10.32920/ryerson.14638989.v1
2	王垒. 嵌入式数据库关键技术的研究与实现［J］. 数字技术与应用， 2015（2）：93.
	WANG L. Research and implementation of key technologies of embedded database［J］. Digital Technology and Application， 2015（2）：93.
3	万玛宁，关永，韩相军. 嵌入式数据库典型技术SQLite和Berkeley DB的研究［J］. 微计算机信息， 2006，22（2）：91-93， 272. 10.3969/j.issn.1008-0570.2006.02.033
	WAN M N， GUAN Y， HAN X J. Research on typical technologies of embedded database — SQLite and Berkeley DB［J］. Control & Automation， 2006，22（2）：91-93， 272. 10.3969/j.issn.1008-0570.2006.02.033
4	马获蕾，汤海凤. Android系统中SQLite数据库的研究［J］. 电脑知识与技术， 2013， 9（28）：6243-6245， 6256.
	MA H L， TANG H F. Research on SQLite database in Android system［J］. Computer Knowledge and Technology， 2013， 9（28）： 6243-6245， 6256.
5	肖贺，薛鸣方，行鸿彦. 嵌入式数据库在自动气象站中的应用研究［J］.电子测量与仪器学报， 2018， 32（10）：197-202. 10.13382/j.jemi.2018.10.027
	XIAO H， XUE M F， XING H Y. Research on application of embedded database in automatic weather station［J］. Journal of Electronic Measurement and Instrument， 2018， 32（10）： 197-202. 10.13382/j.jemi.2018.10.027
6	申瑞杰，吴新忠，牛洪海. 煤矿主要通风机远程无线监控系统设计［J］. 工矿自动化， 2017， 43（11）：30-34.
	SHEN R J， WU X Z， NIU H H. Design of remote wireless monitoring system for coal mine main ventilator［J］. Industry and Mine Automation， 2017， 43（11）： 30-34.
7	王丹，孔祥伟，何良. SQLite轻型数据库在试飞领域的应用［J］. 中国科技信息， 2019（9）：50-52， 13. 10.3969/j.issn.1001-8972.2019.09.015
	WANG D， KONG X W， HE L. Application of SQLite lightweight database in flight test field［J］. China Science and Technology Information， 2019（9）： 50-52， 13. 10.3969/j.issn.1001-8972.2019.09.015
8	刘垚. 基于预写日志的SQLite恢复技术研究与应用［D］. 杭州：杭州电子科技大学， 2017：7-8.
	LIU Y. Research and application of SQLite recovery technology based on WAL［D］. Hangzhou： Hangzhou Dianzi University， 2017：7-8.
9	LORIE R A， MOHAN C， PIRAHESH M H. Multiple version database concurrency control system： US， 5280612［P］. 1994-01-18. 10.1145/141484.130306
10	LARSON P Å， BLANAS S， DIACONU C， et al. High-performance concurrency control mechanisms for main-memory databases ［J］. Proceedings of the VLDB Endowment， 2011， 5（4）：298-309. 10.14778/2095686.2095689
11	YU X Y， PAVLO A， SANCHEZ D， et al. TicToc： time traveling optimistic concurrency control［C］// Proceedings of the 2016 International Conference on Management of Data. New York： ACM， 2016：1629-1642. 10.1145/2882903.2882935
12	WU Y J， ARULRAJ J， LIN J X， et al. An empirical evaluation of in-memory multi-version concurrency control［J］. Proceedings of the VLDB Endowment， 2017， 10（7）：781-792. 10.14778/3067421.3067427
13	夏文忠，刘炜. 从MVCC机制看PostgreSQL的应用场景［J］. 信息化研究， 2015， 41（1）：4-9. 10.2991/iemb-15.2015.169
	XIA W Z， LIU W. Application scenarios of PostgreSQL database according to MVCC mechanism［J］. Informatization Research， 2015， 41（1）： 4-9. 10.2991/iemb-15.2015.169
14	LEE J， SHIN H， PARK C G， et al. Hybrid garbage collection for multi-version concurrency control in SAP HANA［C］// Proceedings of the 2016 International Conference on Management of Data. New York： ACM， 2016： 1307-1318. 10.1145/2882903.2903734
15	王威. MySQL数据库源代码分析及存储引擎的设计［D］. 南京：南京邮电大学， 2012：33-37.
	WANG W. MySQL database source code analysis and design of the storage engine［D］. Nanjing： Nanjing University of Posts and Telecommunications， 2012：33-37.
16	NEUMANN T， MÜHLBAUER T， KEMPER A. Fast serializable multi-version concurrency control for main-memory database systems［C］// Proceedings of the 2015 ACM SIGMOD International Conference on Management of DataMay. New York： ACM， 2015： 677-689. 10.1145/2723372.2749436
17	陈俊伽，王韬. 关系数据库并发控制机制研究［J］. 科学技术与工程， 2007（18）：4635-4637， 4643. 10.3969/j.issn.1671-1815.2007.18.018
	CHEN J J， WANG T. Research of the concurrency control in relation database［J］. Science Technology and Engineering， 2007（18）： 4635-4637， 4643. 10.3969/j.issn.1671-1815.2007.18.018

[1]	张英俊, 李牛牛, 谢斌红, 张睿, 陆望东. 课程学习指导下的半监督目标检测框架[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2326-2333.
[2]	刘晓芳, 张军. 概率驱动的动态多目标多智能体协同调度进化优化[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1372-1377.
[3]	张莞婷, 杜文莉, 堵威. 基于多时间尺度协同的大规模原油调度进化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1355-1363.
[4]	姜涛, 梁振宇, 程然, 金耀初. GPU加速的演化算法求解多目标流水车间调度问题[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1364-1371.
[5]	李欣, 保利勇, 丁洪伟, 官铮. 基于MEC服务器优先服务的路侧单元MAC层调度策略[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1227-1235.
[6]	尚绍法, 蒋林, 李远成, 朱筠. 异构平台下卷积神经网络推理模型自适应划分和调度方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2828-2835.
[7]	胡瑜洪, 王德光, 何家汉, 张志恒. 离散事件系统最优监督控制算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2271-2279.
[8]	叶盛, 王菁, 辛建峰, 王桂玲, 郭陈虹. 云边环境下微服务组合系统的动态演化方法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1696-1704.
[9]	方和平, 刘曙光, 冉泳屹, 钟坤华. 基于深度强化学习的多数据中心一体化调度优化[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1884-1892.
[10]	宁明超, 张俊勃, 陈戈. 基于面向服务架构的工业软件的任务调度算法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 885-893.
[11]	马学森, 许雪梅, 蒋功辉, 乔焰, 周天保. 混合自适应粒子群工作流调度优化算法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 474-483.
[12]	钟磊, 周允升, 余敦辉, 崔海波. 基于亲和力与研究方向覆盖率的审稿人推荐算法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 430-436.
[13]	邓辅秦, 黄焕钊, 谭朝恩, 付兰慧, 张建民, 林天麟. 结合遗传算法和滚动调度的多机器人任务分配算法[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3833-3839.
[14]	薛海蓉, 韩晓龙. 基于改进NSGA-Ⅱ的考虑自动引导车充电策略的集成调度[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3848-3855.
[15]	柳春锋, 李峥, 王居凤. 分布式工厂中微型制造单元多目标优化[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3824-3832.

嵌入式数据库SQLite上多版本并发控制的设计与实现

Design and implementation of multi-version concurrency control on embedded database SQLite

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 17

相关文章 15

编辑推荐

Metrics