计算机应用 ›› 2014, Vol. 34 ›› Issue (11): 3104-3108.DOI: 10.11772/j.issn.1001-9081.2014.11.3104

• 2014年全国开放式分布与并行计算学术年会(DPCS 2014)论文 • 上一篇    下一篇

基于小文件的内存云存储优化策略

英昌甜,于炯,鲁亮,刘建矿   

  1. 新疆大学 信息科学与工程学院,乌鲁木齐 830046
  • 收稿日期:2014-07-18 修回日期:2014-07-24 出版日期:2014-11-01 发布日期:2014-12-01
  • 通讯作者: 英昌甜
  • 作者简介:英昌甜(1989-),女,新疆乌鲁木齐人,博士研究生,主要研究方向:分布式文件系统、内存计算;于炯(1964-),男,北京人,教授,博士生导师,博士,主要研究方向:网络安全、网格计算、分布式计算;鲁亮(1990-),男,湖南湘潭人,博士研究生,主要研究方向:内存计算、绿色计算;刘建矿(1990-),男,河南商丘人,硕士研究生,主要研究方向:云计算资源调度。
  • 基金资助:

    国家自然科学基金资助项目;新疆维吾尔自治区自然科学基金资助项目

Optimal storing strategy based on small files in RAMCloud

YING Changtian,YU Jiong,LU Liang,LIU Jiankuang   

  1. School of Information Science and Engineering, Xinjiang University, Urumqi Xinjiang 830046, China
  • Received:2014-07-18 Revised:2014-07-24 Online:2014-11-01 Published:2014-12-01
  • Contact: YING Changtian

摘要:

由于内存云RAMCloud采用日志段的方式存储数据,因此当大量小文件存储于RAMCloud集群时,每个小文件独占整个段,会产生较多的段内碎片,从而导致内存的有效利用率较低以及大量的内存空间浪费。为了解决这个问题,提出基于文件分类的RAMCloud小文件存储优化策略。该策略首先根据文件的相关特性将小文件分为结构相关文件、逻辑相关文件以及相互独立文件三类;然后在存储时对结构相关的文件使用文件合并算法,逻辑相关和相互独立的小文件则使用分组算法。实验结果表明:同未进行优化的RAMCloud存储策略相比,该策略能有效提高集群内存利用率。

Abstract:

RAMCloud stores data using log segment structure. When large amount of small files store in RAMCloud, each small file occupies a whole segment, so it may leads to much fragments inside the segments and low memory utilization. In order to solve the small file problem, a strategy based on file classification was proposed to optimize the storage of small files. Firstly, small files were classified into three categories including structural related, logical related and independent files. Before uploading, merging algorithm and grouping algorithm were used to deal with these files respectively. The experiment demonstrates that compared with non-optimized RAMCloud, the proposed strategy can improve memory utilization.

中图分类号: