改进的云存储系统数据分布策略

doi:10.3724/SP.J.1087.2012.00309

计算机应用 ›› 2012, Vol. 32 ›› Issue (02): 309-312.DOI: 10.3724/SP.J.1087.2012.00309

改进的云存储系统数据分布策略

周敬利,周正达

华中科技大学计算机科学与技术学院，武汉 430074

收稿日期:2011-08-09 修回日期:2011-09-19 发布日期:2012-02-23 出版日期:2012-02-01
通讯作者: 周正达
作者简介:周敬利(1945-)，女，湖南长沙人，教授，博士生导师，主要研究方向：高性能存储技术及系统、多媒体数据处理、流媒体；
周正达(1981-)，男，湖南长沙人，博士研究生，主要研究方向：高性能存储技术及系统、计算机网络通信。
基金资助:
部委基金

Improved data distribution strategy for cloud storage system

ZHOU Jing-li,ZHOU Zheng-da

School of Computer Science and Technology, Huazhong University of Science and Technology, Wuhan Hubei 430074, China

Received:2011-08-09 Revised:2011-09-19 Online:2012-02-23 Published:2012-02-01
Contact: ZHOU Zheng-da

摘要/Abstract

摘要： 针对当前云存储系统海量数据应用环境中数据分布策略可扩展性以及灵活性的不足，提出一种高效的数据分布策略。一方面，该策略基于一致性哈希数据分布算法，引入了虚拟化的设计思路，采用虚拟节点进行存储资源分配；另一方面，该策略采用了一种基于节点容量感知的负载均衡方法，有效地优化了系统性能，提高了系统可扩展性。通过实验分析，不管在同构还是异构的云存储架构中，该策略改善了存储资源负载均衡程度，有效优化了系统整体性能。

关键词: 云存储, 一致性哈希, 数据分布, 虚拟化, 负载均衡

Abstract: Considering massive scale of cloud storage solutions, the traditional data distribution strategy confronts challenges to improve scalability and flexibility. This paper proposed an efficient data distribution strategy. Based on consistent hashing algorithm, the strategy introduced the virtualization technology, and employed virtual node to improve load balance. Moreover, the strategy used a new capacity-aware method to improve the performance of the cloud storage system. The evaluation experiments demonstrate that the proposed data distribution strategy improves system performance in both homogeneous and heterogeneous distributed storage architectures.

Key words: cloud storage, consistent hashing, data distribution, virtualization, load balance

中图分类号:

TP311.133.1

周敬利周正达. 改进的云存储系统数据分布策略[J]. 计算机应用, 2012, 32(02): 309-312.

ZHOU Jing-li ZHOU Zheng-da. Improved data distribution strategy for cloud storage system[J]. Journal of Computer Applications, 2012, 32(02): 309-312.

参考文献

[1]Storage Networking Industry Association (SNIA). Cloud storage reference model: Version 0.3 rev [S/OL]. [2011-07-18]. http://www.snia.org/sites/default/files/CloudStorageReferenceModelV03.pdf. [2]Amazon.com Inc. Amazon simple storage service (Amazon S3) [EB/OL]. [2011-07-18]. http://aws.amazon.com/s3. [3]BORTHAKU D. The Hadoop distributed file system: Architecture and design [EB/OL]. [2011-07-05]. http://hadoop.apache.org/common/docs/r0.18.0/hdfs_design.pdf. [4]Hbase Development Team. HBase: Bigtable-like structured storage for Hadoop HDFS[EB/OL]. [2011-06-12].http://wiki.apache.org/hadoop/Hbase. [5]盛大网络.盛大云——云硬盘[EB/OL].[2011-05-18]. [6]盛大网络.盛大云——云存储[EB/OL].[2011-05-28]. [7]ZENG WENYING, ZHAO YUELONG, OU KAIRI, et al. Research on cloud storage architecture and key technologies [C]// ICIS '09: Proceedings of the 2nd International Conference on Interaction Sciences: Information Technology, Culture and Human. New York: ACM, 2009: 1044-1048. [8]LITWIN W, NEIMAT M-A, SCHNEIDER D A. LH*—A scalable, distributed data structure[J]. ACM Transactions on Database Systems,1996,21(4):480-525. [9]LEWIN D. Consistent hashing and random trees: Algorithms for caching in distributed networks [D]. Cambridge, Massachusetts: Massachusetts Institute of Technology, Department of Electrical Engineering and Computer Science, 1998. [10]WEIL S A, BRANDT S A, MILLER E L, et al. Ceph: A scalable, high-performance distributed file system [C]// OSDI '06: Proceedings of the 7th USENIX Symposium on Operating Systems Design and Implementation. Berkeley, CA: USENIX, 2006: 307-320. [11]DECANDIA G, HASTORUN D, JAMPANI M, et al. Dynamo: Amazon's highly available key-value store [C]// SOSP'07: Proceedings of the 21st ACM Symposium on Operating Systems Principles. New York: ACM, 2007: 205-220. [12]PATIL S, GIBSON G. Scale and concurrency of GIGA : File system directories with millions of files [C]// FAST'11: Proceedings of the 9th USENIX Conference on File and Storage Technology. Berkeley, CA: USENIX, 2011: 13. [13]Oracle Corp. Lustre file system [EB/OL].[2011-06-12].http://wiki.lustre.org/index.php/Main_Page. [14]SCHMUCK F, HASKIN R. GPFS: A shared-disk file system for large computing clusters[C]// FAST'02: Proceedings of the 1st USENIX Conference on File and Storage Technologies. Berkeley, CA: USENIX, 2002: 231-244. [15]FIPS 180-1. Secure Hash standard[S/OL]. [2011-06-16]. http://www.itl.nist.gov/fipspubs/fip180-1.htm.

改进的云存储系统数据分布策略

Improved data distribution strategy for cloud storage system

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

[1]	张明, 付乐, 王海峰. 面向边缘计算的并发数据流接转控制模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3876-3883.
[2]	孙亚男, 吴杰宏, 石峻岭, 高利军. 改进自组织映射的多无人机协同任务分配方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1551-1556.
[3]	谢振杰, 付伟. 基于可审计多副本的云存储差错副本恢复机制[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1102-1108.
[4]	龙运波, 唐聃. 分布式存储中基于局部修复码的负载均衡方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 767-775.
[5]	杨力, 陈建廷, 向阳. 基于HBase的工业时序大数据分布式存储性能优化策略[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 759-766.
[6]	胡海岩, 康巧燕, 赵朔, 王建峰, 付有斌. 基于节点综合重要度排序的服务功能链部署优化方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 860-868.
[7]	高旗, 吕娜, 缪竞成. 基于负载均衡的无线虚拟网络映射算法[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3148-3153.
[8]	杨翎, 姜春茂. 基于三支决策的虚拟机节能迁移策略[J]. 计算机应用, 2021, 41(4): 990-998.
[9]	许红亮, 杨桂芹, 蒋占军. 基于软件定义网络的数据中心自适应多路径负载均衡算法[J]. 计算机应用, 2021, 41(4): 1160-1164.
[10]	李秀艳, 刘明曦, 史闻博, 董国芳. 面向资源受限用户的高效动态数据审计方案[J]. 计算机应用, 2021, 41(2): 422-432.
[11]	陈港, 孟相如, 康巧燕, 阳勇. 基于拓扑分割与聚类分析的虚拟软件定义网络映射算法[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3309-3318.
[12]	唐鑫, 周琳娜. 基于响应模糊化的抗附加块攻击云数据安全去重方法[J]. 计算机应用, 2020, 40(4): 1085-1090.
[13]	许英鑫, 孙磊, 赵建成, 郭松辉. 基于蚁群优化算法的虚拟现场可编程门阵列部署策略[J]. 计算机应用, 2020, 40(3): 747-752.
[14]	赵季红, 吴豆豆, 曲桦, 殷振宇. 基于软件定义网络的可靠性虚拟网络映射保障机制[J]. 计算机应用, 2020, 40(3): 770-776.
[15]	李翠, 陈庆奎. 基于DPDK并行通信的动态监控模型[J]. 《计算机应用》唯一官方网站, 2020, 40(2): 335-341.