基于一致性树分布的数据分布式存储方法

计算机应用 ›› 2013, Vol. 33 ›› Issue (12): 3432-3436.

• 2013年全国开放式分布与并行计算学术年会（DPCS2013）论文 • 上一篇下一篇

基于一致性树分布的数据分布式存储方法

郭栋¹,²,³,王伟¹,²,³,曾国荪¹,²,³

1. 国家高性能计算机工程技术研究中心同济大学分中心，上海 200092
2. 同济大学计算机科学与技术系，上海 200092；
3. 国家高性能计算机工程技术研究中心同济大学分中心，上海 200092

收稿日期:2013-07-29 出版日期:2013-12-01 发布日期:2013-12-31
通讯作者: 郭栋
作者简介:郭栋(1991-),男,上海人,主要研究方向:分布式系统、云计算;
王伟(1976-),男,上海人,副教授,博士,CCF会员,主要研究方向:并行计算、分布式系统;
曾国荪(1964-),男,上海人,教授,博士生导师,CCF会员,主要研究方向:计算机软件、分布式系统、信息安全。
基金资助:
国家自然科学基金资助项目;上海市优秀学科带头人计划项目;教育部网络时代的科技论文快速共享专项研究课题资助项目;教育部博士点基金资助项目;浙江大学CAD&CG国家重点实验室开放课题资助项目;南京大学计算机软件新技术国家重点实验室开放课题资助项目;同济大学中央高校基本科研业务费专项资金资助项目;中国科学院模式识别国家重点实验室开放课题资助项目

Distributed data storage method based on consistent tree distribution

GUO Dong¹,²,WANG Wei¹,²,ZENG Guoshun¹,²

1. Department of Computer Science and Technology, Tongji University, Shanghai 200092, China
2. Tongji Branch, National Engineering and Technology Center of High Performance, Shanghai 200092, China

Received:2013-07-29 Online:2013-12-31 Published:2013-12-01
Contact: GUO Dong

摘要/Abstract

摘要： 随着云计算和大数据技术的发展，传统的单一存储介质的数据存储方式已经不能满足大数据处理的需求，在这样的背景下，分布式数据存储得到了广泛的应用。然而，目前存在的几种分布式存储方式并不能够完美地满足分布系统的需求。为了更有效地实现数据的分布式存储和冗余备份，采用一种新的基于一致性树分布(CTD)的分布式存储方法，并提出基于该方法的备份策略，实现数据索引与存储位置的映射。该方案具有负载平衡、无单点故障问题、扩展性高且易于实现的优点。同时提出了基于一致性二叉树分布(CBTD)的应用方案。通过对应用系统实例的分析，验证该方法能够很好地满足分布式系统的数据平衡、负载均衡和扩展性需求。

关键词: 分布式系统, 分布式存储, 一致性树分布, 一致性二叉树分布

Abstract: With the development of cloud computing and big data, traditional single storage medium based data storage cannot meet the demands of large data processing, thus distributed data storage has been widely used recently. However, some existing distributed ways of storage cannot perfectly meet the needs of the distribution system. In order to achieve the distributed data storage and redundancy more effectively, a new distributed method and backup strategy based on Consistent Tree Distribution (CTD) was proposed to achieve the location mapping of data indexing and storage. The new method featured load balancing, no single point of failure, high scalability and easy programming. In addition, a method based on Consistent Binary Tree Distribution (CBTD) was also put forward. Analysis of the application system verifies that the method can satisfy the data balance, load balance and high scalability requirements of the distributed system.

Key words: distributed system, distributed storage, Consistent Tree Distribution (CTD), Consistent Binary Tree Distribution (CBTD)

中图分类号:

TP311.12

郭栋王伟曾国荪. 基于一致性树分布的数据分布式存储方法[J]. 计算机应用, 2013, 33(12): 3432-3436.

GUO Dong WANG Wei ZENG Guoshun. Distributed data storage method based on consistent tree distribution[J]. Journal of Computer Applications, 2013, 33(12): 3432-3436.

[1]	卿欣艺, 陈玉玲, 周正强, 涂园超, 李涛. 基于中国剩余定理的区块链存储扩展模型[J]. 计算机应用, 2021, 41(7): 1977-1982.
[2]	吴志军, 王航. 基于订阅/发布服务的广域信息管理系统应急响应机制[J]. 计算机应用, 2020, 40(5): 1340-1347.
[3]	张航, 刘善政, 唐聃, 蔡红亮. 分布式存储系统中的低修复成本纠删码[J]. 计算机应用, 2020, 40(10): 2942-2950.
[4]	张国潮, 王瑞锦. 基于门限秘密共享的区块链分片存储模型[J]. 计算机应用, 2019, 39(9): 2617-2622.
[5]	周岳, 陈庆奎. 面向大规模数据接入系统的负载平衡机制[J]. 计算机应用, 2018, 38(1): 50-55.
[6]	周渭博, 钟勇, 李振东. 基于存储熵的存储负载均衡算法[J]. 计算机应用, 2017, 37(8): 2209-2213.
[7]	徐志强, 袁德砦, 陈亮. 基于稀疏随机矩阵的再生码构造方法[J]. 计算机应用, 2017, 37(7): 1948-1952.
[8]	吴家皋, 夏轩, 刘林峰. 基于MapReduce的轨迹压缩并行化方法[J]. 计算机应用, 2017, 37(5): 1282-1286.
[9]	肖圣龙, 陈昕, 李卓. 面向社会安全事件的分布式神经网络攻击行为分类方法[J]. 计算机应用, 2017, 37(10): 2794-2798.
[10]	邱桂, 闫仁武. 基于灰色关联分析的分布式协同过滤推荐算法[J]. 计算机应用, 2016, 36(4): 1054-1059.
[11]	刘青, 付印金, 倪桂强, 梅建民. 基于Hadoop平台的分布式重删存储系统[J]. 计算机应用, 2016, 36(2): 330-335.
[12]	翁海星, 宫学庆, 朱燕超, 胡华梁. 集群环境下分布式索引的实现[J]. 计算机应用, 2016, 36(1): 1-7.
[13]	魏敏, 刘以安, 吴鸿雁. 分布式系统中局部处理机的设计与实现[J]. 计算机应用, 2015, 35(5): 1290-1295.
[14]	李腾耀, 张水平, 张月玲, 张静颐. 基于对等监控网络的云监控系统设计与实现[J]. 计算机应用, 2015, 35(12): 3378-3382.
[15]	李勇, 吴立慧, 黄宁, 吴维刚. 基于HBase的地理分布副本管理机制[J]. 计算机应用, 2015, 35(11): 3097-3101.

基于一致性树分布的数据分布式存储方法

Distributed data storage method based on consistent tree distribution

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics