基于校验编码备份的分布存储方案

doi:10.3724/SP.J.1087.2013.00211

计算机应用 ›› 2013, Vol. 33 ›› Issue (01): 211-214.DOI: 10.3724/SP.J.1087.2013.00211

基于校验编码备份的分布存储方案

陈冬晓¹,²,王鹏¹,³

1. 中国科学院成都计算机应用研究所，成都 610041
2. 中国科学院研究生院，北京 100049
3. 成都信息工程学院并行计算实验室，成都 610225

收稿日期:2012-07-09 修回日期:2012-08-07 发布日期:2013-01-09 出版日期:2013-01-01
通讯作者: 王鹏
作者简介:陈冬晓(1986-)，男，四川德阳人，硕士研究生，主要研究方向：并行计算、云计算；王鹏(1975-)，男，四川乐山人，教授，博士生导师，博士，CCF高级会员，主要研究方向：云计算、并行计算。
基金资助:
国家自然科学基金资助项目(60872064);成都市科技局创新发展战略研究项目(软科学)(11RKYB016ZF)

Distributed storage solution based on parity coding

CHEN Dongxiao¹,²,WANG Peng¹,³

1. Chengdu Institute of Computer Applications, Chinese Academy of Sciences, Chengdu Sichuan 610041, China
2. Graduate University of Chinese Academy of Sciences, Beijing 100190, China
3. Parallel Computing Laboratory, Chengdu University of Information Technology, Chengdu Sichuan 610025, China

Received:2012-07-09 Revised:2012-08-07 Online:2013-01-09 Published:2013-01-01
Contact: WANG Peng
Supported by:
the National Nature Science Fundation of China under Grant

摘要/Abstract

摘要： 传统的云计算存储系统为保障可用性，一般使用镜像冗余备份而产生大量冗余备份数据，影响了存储数据空间的利用效率。针对此情况，为减少备份数据对存储空间的占用，提出一种存储方案。放弃了镜像冗余备份，引入校验编码的方式进行备份，以减少备份数据；同时采用了冲突跳转的机制对备份进行验证，在保证备份数据有效性的前提下减少备份数量。通过模拟程序运行结果与主流云存储方案的对比表明，所提存储方案在保证数据可靠性的同时，显著地降低了分布存储对磁盘空间的占用。

关键词: 云存储, 一致性哈希, Hadoop分布式文件系统, 数据备份, 数据恢复

Abstract: To guarantee reliability, traditional cloud storage solutions generally backup data through mirror redundancy, which influences the usage efficiency of storage data space. A storage solution was proposed to reduce the usage of storage data space for redundancy-backup data. The solution introduced: 1) the parity coding backup instead of mirror backup, which reduced the size of backup data; 2) the conflict-jump mechanism to confirm the backup data, which guaranteed reliability while number of backup data copies was reduced. The contrast between running result of simulation program and performance of mainstream cloud storage solutions shows that, by using the proposed solution, the usage of storage space for distributed storage is significantly reduced while the reliability gets guaranteed.

Key words: cloud storage, consistent hash, Hadoop Distributed File System (HDFS), data backup, data recovery

中图分类号:

TP301.6

陈冬晓王鹏. 基于校验编码备份的分布存储方案[J]. 计算机应用, 2013, 33(01): 211-214.

CHEN Dongxiao WANG Peng. Distributed storage solution based on parity coding[J]. Journal of Computer Applications, 2013, 33(01): 211-214.

参考文献

［1］Storage Networking Industry Association (SNIA). Cloud storage reference model: Version 0.3 rev ［EB/OL］. ［2012-03-15］. http://www.snia.org/sites/default/files/CloudStorageReferenceModelV03.pdf.

［2］CALLAGHAN B. NFS over RDMA ［EB/OL］. ［2012-04-05］. http://static.usenix.org/events/fast02/wips/callagcal.pdf.

［3］BORTHAKUR D. HDFS architecture guide ［EB/OL］. ［2012-03-18］. http://hadoop.apache.org/common/docs/r0.20.0/hdfs_design.pdf.

［4］SHVACHKO K, KUANG H, RADIA S, et al. The Hadoop distributed file system ［C］// Proceedings of the 2010 IEEE 26th Symposium on Mass Storage Systems and Technologies. Washington, DC: IEEE Computer Society, 2010: 1-10.

［5］许春玲,张广泉.分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析［J］.苏州大学学报:工科版,2010,30(4):5-19.

［6］WHITE T. HDFS reliability ［EB/OL］. ［2012-04-20］. http://www.cloudera.com/wp-content/uploads/2010/03/HDFS_Reliability.pdf.

［7］DECANDIA G, HASTORUN D, JAMPANI M, et al. Dynamo: Amazon's highly available key-value store ［C］// SOSP'07: Proceedings of the 21st ACM Symposium on Operating Systems Principles. New York: ACM Press, 2007: 205-220.

［8］Amazon.com Inc. Amazon simple storage service (Amazon S3) ［EB/OL］. ［2012-03-15］. http://aws.amazon.com/s3.

［9］LEWIN D. Consistent hashing and random trees: algorithms for caching in distributed networks ［D］. Cambridge, Massachusetts: Massachusetts Institute of Technology, 1998.

［10］PAI V S, ARON M, BANGA G, et al. Locality-aware request distribution in cluster-based network servers ［C］// Proceedings of the 8th International Conference on Architectural Support for Programming Languages and Operating Systems. New York: ACM Press,1998:205-216.

［11］中国移动通信集团设计院有限公司.综合布线系统工程设计规范, GB50311—2007 ［S/OL］. ［2012-04-22］. http://www.sc-cic.org.cn/zywyh/GB50311.htm.

［12］KUROSE J F, ROSS K W. Computer networking: a top-down approach ［M］. 4th ed.北京:高等教育出版社,2010.

［13］周敬利,周正达.改进的云存储系统数据分布策略［J］.计算机应用,2012,32(2):309-312.

[1]	谢振杰, 付伟. 基于可审计多副本的云存储差错副本恢复机制[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1102-1108.
[2]	李秀艳, 刘明曦, 史闻博, 董国芳. 面向资源受限用户的高效动态数据审计方案[J]. 计算机应用, 2021, 41(2): 422-432.
[3]	唐鑫, 周琳娜. 基于响应模糊化的抗附加块攻击云数据安全去重方法[J]. 计算机应用, 2020, 40(4): 1085-1090.
[4]	付伟, 顾晨阳, 高强. 基于属性加密的多用户共享ORAM方案[J]. 《计算机应用》唯一官方网站, 2020, 40(2): 497-502.
[5]	董聪, 张晓, 程文迪, 石佳. 基于新型存储器件的分布式文件系统性能优化[J]. 计算机应用, 2020, 40(12): 3594-3603.
[6]	王海勇, 彭垚, 郭凯璇. 云存储中基于代理重加密的CP-ABE访问控制方案[J]. 计算机应用, 2019, 39(9): 2611-2616.
[7]	柳玉东, 王绪安, 涂广升, 王涵. 全生命周期的云外包数据安全审计协议[J]. 计算机应用, 2019, 39(7): 1954-1958.
[8]	明洋, 何宝康. 支持属性撤销的可验证外包的多授权属性加密方案[J]. 计算机应用, 2019, 39(12): 3556-3562.
[9]	周坚, 金瑜, 何亨, 李鹏. 基于嵌套Merkle Hash tree区块链的云数据动态审计模型[J]. 计算机应用, 2019, 39(12): 3575-3583.
[10]	李静, 刘冬实. 主动容错云存储系统的可靠性评价模型[J]. 计算机应用, 2018, 38(9): 2631-2636.
[11]	陈博, 何连跃, 严巍巍, 徐照淼, 徐俊. 海量小文件系统的可移植操作系统接口兼容技术[J]. 计算机应用, 2018, 38(5): 1389-1392.
[12]	杨宏宇, 王玥. 云存储环境下的多关键字密文搜索方法[J]. 计算机应用, 2018, 38(2): 343-347.
[13]	王敏燊, 熊金波, 林倩, 王丽丽. 基于密钥分发和密文抽样的云数据确定性删除方案[J]. 计算机应用, 2018, 38(1): 194-200.
[14]	李强, 刘晓峰. 基于Hopfield神经网络的云存储负载均衡策略[J]. 计算机应用, 2017, 37(8): 2214-2217.
[15]	李昊宇, 张龙军, 李庆鹏. 基于B⁺树的动态数据持有性证明方案[J]. 计算机应用, 2017, 37(7): 1931-1935.

基于校验编码备份的分布存储方案

Distributed storage solution based on parity coding

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics