分布式文件系统中元数据操作的优化研究

doi:10.3724/SP.J.1087.2012.03271

计算机应用 ›› 2012, Vol. 32 ›› Issue (12): 3271-3273.DOI: 10.3724/SP.J.1087.2012.03271

• 先进计算 • 下一篇

分布式文件系统中元数据操作的优化研究

刘恋,郑彪,龚奕利

武汉大学计算机学院，武汉 430072

收稿日期:2012-06-21 修回日期:2012-07-30 发布日期:2012-12-29 出版日期:2012-12-01
通讯作者: 龚奕利
作者简介:刘恋(1988－)，女，湖南长沙人，硕士研究生，主要研究方向：分布式计算；〓郑彪(1988－)，男，湖北武汉人,硕士研究生，主要研究方向：分布式计算；〓龚奕利(1976-)，女，浙江平湖人，副教授，博士，主要研究方向：分布式计算、分布式存储。
基金资助:
国家重大科技专项;国家自然科学基金资助项目

Metadata processing optimization in distributed file systems

LIU Lian,ZHENG Biao,GONG Yi-li

School of Computer Science, Wuhan University, Wuhan Hubei 430072, China

Received:2012-06-21 Revised:2012-07-30 Online:2012-12-29 Published:2012-12-01
Contact: GONG Yi-li

摘要/Abstract

摘要： 分析了PVFS2中的元数据操作流程，以remove操作为例，通过测试发现其瓶颈之处，提出一种将判断过程放置到服务器端来减少通信次数的优化方法，这些方法同样可以应用于其他元数据操作。在PVFS2中实现了该优化方法，并将其同原来的remove操作耗时进行了对比，结果表明，该元数据操作的性能提高了10%左右。

关键词: 分布式文件系统, 元数据操作, 优化处理, PVFS2

Abstract: This paper analyzed the metadata processing in PVFS2, and took the remove operation as an example. To find out the bottlenecks in the remove operation, the time of each step was tested. And an optimization method to reduce the communication number by placing judgmental process on the server side was proposed, which is also suitable for other metadata operations. The optimization method was implemented in PVFS2. Compared with the original remove operation, this proposed method shows about 10% improvement in performance.

Key words: distributed file systems, metadata operation, processing optimization, PVFS2

中图分类号:

TP316.4

刘恋郑彪龚奕利. 分布式文件系统中元数据操作的优化研究[J]. 计算机应用, 2012, 32(12): 3271-3273.

LIU Lian ZHENG Biao GONG Yi-li. Metadata processing optimization in distributed file systems[J]. Journal of Computer Applications, 2012, 32(12): 3271-3273.

[1]	李旭, 何玉林, 崔来中, 黄哲学, PHILIPPE Fournier‑Viger. 基于大数据随机样本划分的分布式观测点分类器[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1727-1733.
[2]	倪瑞轩, 蔡淼, 叶保留. 内存高效的持久性分布式文件系统客户端缓存DFS-Cache[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1172-1180.
[3]	苟子安, 张晓, 吴东南, 王艳秋. 分布式存储系统中的日志分析与负载特征提取[J]. 计算机应用, 2020, 40(9): 2586-2593.
[4]	董聪, 张晓, 程文迪, 石佳. 基于新型存储器件的分布式文件系统性能优化[J]. 计算机应用, 2020, 40(12): 3594-3603.
[5]	陈博, 何连跃, 严巍巍, 徐照淼, 徐俊. 海量小文件系统的可移植操作系统接口兼容技术[J]. 计算机应用, 2018, 38(5): 1389-1392.
[6]	李强, 刘晓峰. 基于Hopfield神经网络的云存储负载均衡策略[J]. 计算机应用, 2017, 37(8): 2214-2217.
[7]	杨俊杰, 廖卓凡, 冯超超. 大数据存储架构和算法研究综述[J]. 计算机应用, 2016, 36(9): 2465-2471.
[8]	刘青, 付印金, 倪桂强, 梅建民. 基于Hadoop平台的分布式重删存储系统[J]. 计算机应用, 2016, 36(2): 330-335.
[9]	伍晋博, 宋杰, 张莉, 鲍玉斌. 基于概率的大数据查询系统——Probery[J]. 计算机应用, 2016, 36(1): 8-12.
[10]	邵田, 陈广胜, 景维鹏. 云存储系统中文件分界点确定方法——Cut-GAR[J]. 计算机应用, 2015, 35(9): 2497-2502.
[11]	杨文晖, 李国强, 苗放. 面向海量空间数据存储的元数据管理机制[J]. 计算机应用, 2015, 35(5): 1276-1279.
[12]	郑凯, 朱林, 陈优广. 基于Kademlia的负载平衡云存储算法[J]. 计算机应用, 2015, 35(3): 643-647.
[13]	王政英, 于炯, 英昌甜, 鲁亮. 分布式文件系统数据块聚类存储节能策略[J]. 计算机应用, 2015, 35(2): 378-382.
[14]	陈吉荣乐嘉锦. 基于MapReduce的Hadoop大表导入编程模型[J]. 计算机应用, 2013, 33(09): 2486-2489.
[15]	朱媛媛王晓京. 基于GE码的HDFS优化方案[J]. 计算机应用, 2013, 33(03): 730-733.

分布式文件系统中元数据操作的优化研究

Metadata processing optimization in distributed file systems

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics