基于纠删码和动态副本策略的HDFS改进系统

doi:10.3724/SP.J.1087.2012.02150

计算机应用 ›› 2012, Vol. 32 ›› Issue (08): 2150-2158.DOI: 10.3724/SP.J.1087.2012.02150

基于纠删码和动态副本策略的HDFS改进系统

李晓恺¹,²,代翔¹,²,李文杰¹,²,崔喆¹

1. 中国科学院成都计算机应用研究所，成都 610041
2. 中国科学院研究生院，北京 100049

收稿日期:2012-02-22 修回日期:2012-03-26 发布日期:2012-08-28 出版日期:2012-08-01
通讯作者: 李晓恺
作者简介:李晓恺(1988-)，男，安徽池州人，硕士研究生，主要研究方向：分布式存储、分布式计算;
代翔(1983-)，男，河南信阳人，博士研究生，主要研究方向：计算机网络、信息安全;
李文杰(1987-)，男，湖南益阳人，硕士研究生，主要研究方向：信息编码、分布式存储;
崔喆(1970-)，男，四川巴中人，研究员，主要研究方向：软件工程、计算机网络、信息安全。
基金资助:
国家863计划项目(2008AAO1Z402)

Improved HDFS scheme based on erasure code and dynamical-replication system

LI Xiao-kai¹,²,DAI Xiang¹,²,LI Wen-jie¹,²,CUI Zhe¹

1. Chengdu Institute of Computer Application, Chinese Academy of Sciences, Chengdu Sichuan 610041, China
2. Graduate University of Chinese Academy of Sciences, Beijing 100049, China

Received:2012-02-22 Revised:2012-03-26 Online:2012-08-28 Published:2012-08-01
Contact: LI Xiao-kai

摘要/Abstract

摘要： 为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力，针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块，对HDFS中的block进行编码分解，生成更多数量的数据分片(section)，并随机地分散保存到集群当中，替代原有系统的多副本容灾策略；在集群出现节点失效的情况下，通过收集与失效block相关的任意70%左右的section进行原始数据的恢复；同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验，表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。

关键词: Hadoop分布式文件系统, 分布式存储, 数据容灾, 负载均衡, 动态副本

Abstract: In order to improve the storage efficiency of Hadoop Distributed File System (HDFS) and its load balance ability, this paper presented an improved solution named Noah to replace the original multiple-replication strategy. Noah introduced a coding module to HDFS. Instead of adopting the multiple-replication strategy by the original system, the module encoded every data block of HDFS into a greater number of data sections (pieces), and saved them dispersedly into the clusters of the storage system in distributed fashion. In the case of cluster failure, the original data would be recovered via decoding by collecting any 70% of the sections, while the dynamic replication strategy also worked synchronously, in which the amount of copies would dynamically change with the demand. The experimental results in analogous clusters of storage system show the feasibility and advantages of new measures in proposed solution.

Key words: Hadoop Distributed File System (HDFS), distributed storage, data disaster recovery, load-balance, dynamic replication

中图分类号:

李晓恺代翔李文杰崔喆. 基于纠删码和动态副本策略的HDFS改进系统[J]. 计算机应用, 2012, 32(08): 2150-2158.

LI Xiao-kai DAI Xiang LI Wen-jie CUI Zhe. Improved HDFS scheme based on erasure code and dynamical-replication system[J]. Journal of Computer Applications, 2012, 32(08): 2150-2158.

参考文献

[1]GHEMAWAT S, GOBIOFF H, LEUNG S-T. The Google file system[C]// SOSP 2003: Proceedings of 19th ACM Symposium on Operating Systems Principles. New York: ACM, 2003:58-66. [2]Hadoop[EB/OL].［2011-12-01］. http://hadoop.apache.org/common. [3]Map-Reduce[EB/OL].［2011-12-01］. http://wiki.apache.org/mapreduce/. [4]BORTHAKUR D.Hadoop and its usage at Facebook [R/OL]. [2011-11-13]. http://borthakur.com/ftp/newflixalone.pdf. [5]MACKEY G, SEHRISH S, WANG JUN. Improving metadata management for small files in HDFS [C]// CLUSTER '09: IEEE International Conference on Cluster Computing and Workshops. Piscataway: IEEE, 2009: 1-4. [6]THUSOO A, SARMA J S, JAIN N, et al. Hive: A petabyte scale data warehouse using Hadoop[C]// ICDE 2010：Proceedings of 26th IEEE International Conference on Data Engineering. Piscataway: IEEE, 2010: 996-1005. [7]JIANG D, OOI B C, SHI L, et al. The performance of MapReduce: an in-depth study[J].Proceedings of the VLDB Endowment, 2010, 3(1/2): 472-483. [8]DONG BO, QIU JIE, ZHENG QINGHUA, et al. A novel approach to improving the efficiency of storing and accessing small files on Hadoop: a case study by PowerPoint files[C]// SCC '10: Proceedings of the 2010 IEEE International Conference on Services Computing. Washington, DC: IEEE Computer Society, 2010:65-72. [9]LIU XUHUI, HAN JIZHONG, ZHONG YUNQIN, et al. Implementing WebGIS on Hadoop: a case study of improving small file I/O performance on HDFS[C]// CLUSTER '09: IEEE International Conference on Cluster Computing and Workshops. Piscataway: IEEE, 2009:45-48. [10]HDFS [EB/OL]. ［2011-12-05］. http://hadoop.apache.org/common/. [11]NameNode[EB/OL].［2011-12-11］. http://wiki.apache.org/namenode /. [12]DataNode[EB/OL].［2011-12-21］.http://wiki.apache.org/ datanode /. [13]陈铮.一类新的阵列纠删码理论及应用[D].北京：中国科学院研究生院,2009. [14]BlocksMap[EB/OL].［2011-02-08］. http://www.tbdata.org/archives/1120/. [15]WHITE T. Hadoop: The definitive guide[M]. Sebastopol, California: O'Reilly Media，2011：295.

基于纠删码和动态副本策略的HDFS改进系统

Improved HDFS scheme based on erasure code and dynamical-replication system

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

[1]	张明, 付乐, 王海峰. 面向边缘计算的并发数据流接转控制模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3876-3883.
[2]	孙亚男, 吴杰宏, 石峻岭, 高利军. 改进自组织映射的多无人机协同任务分配方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1551-1556.
[3]	龙运波, 唐聃. 分布式存储中基于局部修复码的负载均衡方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 767-775.
[4]	杨力, 陈建廷, 向阳. 基于HBase的工业时序大数据分布式存储性能优化策略[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 759-766.
[5]	周娜, 成茗, 贾孟霖, 杨杨. 基于缩略图加密和分布式存储的医学图像隐私保护[J]. 《计算机应用》唯一官方网站, 2023, 43(10): 3149-3155.
[6]	王泽曦, 张敏情, 柯彦, 孔咏骏. 基于图像秘密共享的密文域可逆信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1480-1489.
[7]	高旗, 吕娜, 缪竞成. 基于负载均衡的无线虚拟网络映射算法[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3148-3153.
[8]	卿欣艺, 陈玉玲, 周正强, 涂园超, 李涛. 基于中国剩余定理的区块链存储扩展模型[J]. 计算机应用, 2021, 41(7): 1977-1982.
[9]	杨翎, 姜春茂. 基于三支决策的虚拟机节能迁移策略[J]. 计算机应用, 2021, 41(4): 990-998.
[10]	许红亮, 杨桂芹, 蒋占军. 基于软件定义网络的数据中心自适应多路径负载均衡算法[J]. 计算机应用, 2021, 41(4): 1160-1164.
[11]	李翠, 陈庆奎. 基于DPDK并行通信的动态监控模型[J]. 《计算机应用》唯一官方网站, 2020, 40(2): 335-341.
[12]	董聪, 张晓, 程文迪, 石佳. 基于新型存储器件的分布式文件系统性能优化[J]. 计算机应用, 2020, 40(12): 3594-3603.
[13]	张航, 刘善政, 唐聃, 蔡红亮. 分布式存储系统中的低修复成本纠删码[J]. 计算机应用, 2020, 40(10): 2942-2950.
[14]	张国潮, 王瑞锦. 基于门限秘密共享的区块链分片存储模型[J]. 计算机应用, 2019, 39(9): 2617-2622.
[15]	李祝红, 赵灿明, 闫龙, 张信明. 智能电网中电力线通信网络负载均衡的机会路由协议[J]. 计算机应用, 2019, 39(3): 812-816.