HDFS下载效率的优化

计算机应用 ›› 2010, Vol. 30 ›› Issue (8): 2260-2065.

HDFS下载效率的优化

曹宁¹,吴中海²,刘宏志³,张齐勋³

1. 北京大学
2. 北京大学软件与微电子学院
3.

收稿日期:2010-01-18 修回日期:2010-03-04 发布日期:2010-07-30 出版日期:2010-08-01
通讯作者: 曹宁

Improving downloading performance in hadoop distributed file system

Received:2010-01-18 Revised:2010-03-04 Online:2010-07-30 Published:2010-08-01
Contact: Ning Cao

摘要/Abstract

摘要： 针对HDFS的内部数据下载效率较低和可能出现的负载不均衡的问题进行了研究，从分布式文件整体下载效率和数据块的下载效率两方面提出了优化方法。实验结果表明：两个方法都能提高效率，但在集群有大量DataNode的前提下，两者结合起来的方法能更好地提高下载效率和均衡DataNode的负载

关键词: 云计算, Hadoop档案系统(HDFS), 多线程, 并行下载

Abstract: Concerning the problems such as low downloading efficiency and imbalanced load of DataNode in Hadoop Distributed File System（HDFS）. Inthis paper two methods to optimize were proposed, one was to improve the whole process of downloading a file, the other was to optimize the downloading a block by a parallel download algorithm for dynamically allocating load by speed. Mathematical analysis and experiments prove that two methods can enhance the efficiency. Meanwhile, by combining the two methods, downloading is more efficient, and more stable when the load of DataNode can be balanced to some extent.

Key words: cloud computing, Hadoop Distributed File System (HDFS), multi-thread, parallel downloading

曹宁吴中海刘宏志张齐勋. HDFS下载效率的优化[J]. 计算机应用, 2010, 30(8): 2260-2065.

[1]	陈家豪, 殷新春. 基于云雾计算的可追踪可撤销密文策略属性基加密方案[J]. 计算机应用, 2021, 41(6): 1611-1620.
[2]	葛丽娜, 胡雨谷, 张桂芬, 陈园园. 云计算环境基于客体属性匹配的逆向混合访问控制方案[J]. 计算机应用, 2021, 41(6): 1604-1610.
[3]	杨翎, 姜春茂. 基于三支决策的虚拟机节能迁移策略[J]. 计算机应用, 2021, 41(4): 990-998.
[4]	孙晓玲, 杨光, 沈焱萍, 杨秋格, 陈涛. 基于可拆分倒排索引的可搜索加密方案[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3288-3294.
[5]	吕佳玉, 竺智荣, 姚志强. 云计算环境下的双通道数据动态加密策略[J]. 计算机应用, 2020, 40(8): 2268-2273.
[6]	陈程军, 毛莺池, 王绎超. 基于激活-熵的分层迭代剪枝策略的CNN模型压缩[J]. 计算机应用, 2020, 40(5): 1260-1265.
[7]	郭曙杰, 李志华, 蔺凯青. 云环境下基于模糊隶属度的虚拟机放置算法[J]. 计算机应用, 2020, 40(5): 1374-1381.
[8]	许英鑫, 孙磊, 赵建成, 郭松辉. 基于蚁群优化算法的虚拟现场可编程门阵列部署策略[J]. 计算机应用, 2020, 40(3): 747-752.
[9]	王庆永, 毛莺池, 王绎超, 王龙宝. 基于多微云协作的计算任务卸载[J]. 计算机应用, 2020, 40(2): 328-334.
[10]	刘福鑫, 李劲巍, 王熠弘, 李琳. 基于Kubernetes的云原生海量数据存储系统设计与实现[J]. 计算机应用, 2020, 40(2): 547-552.
[11]	杨哂哂, 吴慧珍, 庄黎丽, 吕宏武. 基于Markov过程的IaaS系统可用性建模与分析方法[J]. 计算机应用, 2020, 40(10): 3013-3018.
[12]	林立, 熊金波, 肖如良, 林铭炜, 陈秀华. Gaming@Edge:基于边缘节点的低延迟云游戏系统[J]. 计算机应用, 2019, 39(7): 2001-2007.
[13]	徐雅斌, 彭宏恩. 基于需求预测的PaaS平台资源分配方法[J]. 计算机应用, 2019, 39(6): 1583-1588.
[14]	李启锐, 彭志平, 崔得龙, 何杰光. 容器云环境虚拟资源配置策略的优化[J]. 计算机应用, 2019, 39(3): 784-789.
[15]	李磊, 薛洋, 吕念玲, 冯敏. 基于李雅普诺夫优化的容器云队列在线任务和资源调度设计[J]. 计算机应用, 2019, 39(2): 494-500.