基于随机森林和遗传算法的Ceph参数自动调优

doi:10.11772/j.issn.1001-9081.2019081366

《计算机应用》唯一官方网站 ›› 2020, Vol. 40 ›› Issue (2): 347-351.DOI: 10.11772/j.issn.1001-9081.2019081366

• 2019年全国开放式分布与并行计算学术年会(DPCS 2019)论文 • 上一篇下一篇

基于随机森林和遗传算法的Ceph参数自动调优

陈禹, 毛莺池()

河海大学计算机与信息学院，南京 211100

收稿日期:2019-07-31 修回日期:2019-09-17 接受日期:2019-09-23 发布日期:2019-09-29 出版日期:2020-02-10
通讯作者: 毛莺池
作者简介:陈禹（1994—），男，江苏南通人，硕士研究生，主要研究方向：分布式计算、并行处理；
基金资助:
国家重点研发计划项目(2018YFC0407905);华能集团重点研发课题资助项目(HNKJ17-21)

Automatic tuning of Ceph parameters based on random forest and genetic algorithm

Yu CHEN, Yingchi MAO()

College of Computer and Information，Hohai University，Nanjing Jiangsu 211100，China

Received:2019-07-31 Revised:2019-09-17 Accepted:2019-09-23 Online:2019-09-29 Published:2020-02-10
Contact: Yingchi MAO
About author:CHEN Yu， born in 1994， M. S. candidate. His research interests include distributed computing， parallel processing.
Supported by:
the National Key Research and Development Program of China(2018YFC0407905);the Key Research and Development Project of China Huaneng Group(HNKJ17-21)

摘要/Abstract

摘要：

Ceph系统性能受Ceph配置参数的显著影响，在Ceph集群的配置优化中，配置参数种类繁多、含义复杂，导致难以实现快速准确寻优。针对以上问题，提出一种基于随机森林（RF）和遗传算法（GA）的参数调优方法，用于自动调整Ceph参数配置以优化Ceph系统性能。该方法使用RF算法为Ceph系统构建性能预测模型，并将预测模型的输出作为GA的输入，通过GA对参数配置方案进行自动迭代优化。仿真结果表明，调优后的参数配置较默认的参数配置相比，使Ceph文件系统的读写性能提高了约1.4倍，并且寻优耗时远低于黑盒参数调优方法。

关键词: Ceph, 参数配置, 随机森林, 遗传算法, 自动调优

Abstract:

The performance of Ceph system is significantly affected by the configuration parameters. In the optimization of configuration of Ceph cluster， there are many kinds of configuration parameters with complex meanings， which makes it difficult to achieve fast and accurate optimization. To solve the above problems， a parameter tuning method based on Random Forest （RF） and Genetic Algorithm （GA） was proposed to automatically adjust the Ceph parameter configuration in order to optimize the Ceph system performance. RF algorithm was used to construct a performance prediction model for the Ceph system， and the output of the prediction model was used as the input of GA， then the parameter configuration scheme was automatically and iteratively optimized by using GA. Simulation results show that compared with the system with default parameter configuration， the Ceph file system with optimized parameter configuration has the read and write performance improved by about 1.4 times， and the optimization time is much lower than that of the black box parameter tuning method.

Key words: Ceph, parameter configuration, Random Forest (RF), Genetic Algorithm (GA), automatic tuning

中图分类号:

TP393.06

陈禹, 毛莺池. 基于随机森林和遗传算法的Ceph参数自动调优[J]. 计算机应用, 2020, 40(2): 347-351.

Yu CHEN, Yingchi MAO. Automatic tuning of Ceph parameters based on random forest and genetic algorithm[J]. Journal of Computer Applications, 2020, 40(2): 347-351.

图/表 9

表1 Ceph配置参数说明

Tab. 1 Description of Ceph configuration parameters

参数名	数据类型	默认值	范围
filestore max sync interval	integer	5	5~16
filestore min sync interval	float	0.01	0.01~5
filestore op threads	integer	2	1~32
filestore queue max ops	integer	50	16~25 000
osd max write size	integer	90	30~2 000
osd op threads	integer	2	1~32
osd map cache size	integer	200	64~1 024

图1 不同参数配置下性能变化

Fig. 1 Performance changes with different parameter configurations

图2 模型总体架构

Fig. 2 Overall architecture of the proposed model

图3 参数寻优框架

Fig. 3 Framework of parameter optimization

图4 m和k值对模型精度的影响

Fig. 4 Influence of m and k values on model accuracy

图5 随机森林预测效果图

Fig. 5 Random forest prediction effect map

图6 几种模型的综合性能对比

Fig. 6 Performance comparison of several models

图7 读写性能与GA迭代步数关系

Fig. 7 Relationship between read and write performance and GA iteration step

图8 不同大小文件下寻优效率对比

Fig. 8 Comparison of optimization efficiency under different file sizes

参考文献 15

1	HUANG M， LUO L， LI Y， et al. Research on data migration optimization of Ceph［C］// Proceedings of the 14th International Computer Conference on Wavelet Active Media Technology and Information Processing. Piscataway： IEEE， 2017： 83-88. 10.1109/iccwamtip.2017.8301454
2	李翔. Ceph分布式文件系统的研究及性能测试［D］. 西安：西安电子科技大学， 2014：15-20.
	LI X. Research and performance testing of the Ceph distributed file system［D］. Xi’an： Xidian University， 2014：15-20.
3	ZHANG X， GADDAM S， CHRONOPOULOS A T. Ceph distributed file system benchmarks on an Openstack cloud［C］// Proceedings of the 2015 IEEE International Conference on Cloud Computing in Emerging Markets. Piscataway： IEEE， 2015： 113-120. 10.1109/ccem.2015.12
4	CAO Z， TARASOV V， TIWARI S. Towards better understanding of black-box auto-tuning： a comparative analysis for storage systems［C］// Proceedings of the 2018 Annual USENIX Technical Conference. Berkeley： USENIX Association， 2018： 893-907.
5	YIGITBASI N， WILLKE T L， LIAO G， et al. Towards machine learning-based auto-tuning of MapReduce［C］// Proceedings of the IEEE 21st International Symposium on Modeling， Analysis and Simulation of Computer and Telecommunication Systems. Piscataway： IEEE， 2013：11-20. 10.1109/mascots.2013.9
6	曾林西. 基于性能预估的Hadoop参数自动调优系统［D］. 武汉：华中科技大学， 2013： 34-37.
	ZENG X L. A cost-based optimizer for configuration parameters of Hadoop candidate［D］. Wuhan： Huazhong University of Science and Technology， 2013： 34-37.
7	CAI L， QI Y， LI J. A Recommendation-based parameter tuning approach for Hadoop［C］// Proceedings of the 2017 IEEE International Symposium on Cloud and Service Computing. Piscataway： IEEE， 2017：223-230. 10.1109/sc2.2017.41
8	马跃，余骋远，于碧辉. 基于资源签名与遗传算法的Hadoop参数自动调优系统［J］. 计算机应用研究， 2017， 34（11）：3219-3222， 3228. 10.3969/j.issn.1001-3695.2017.11.004
	MA Y， YU C Y， YU B H. Hadoop parameter automatic tuning system based on resource signature and genetic algorithm［J］. Application Research of Computers， 2017， 34（11）： 3219-3222， 3228. 10.3969/j.issn.1001-3695.2017.11.004
9	WU D， WANG Y， FENG H， et al. Optimization design and realization of Ceph storage system based on software defined network［C］// Proceedings of the 13th International Conference on Computational Intelligence and Security. Piscataway： IEEE， 2017：277-281. 10.1109/cis.2017.00067
10	王皎，刘闫锋. Hadoop集群参数的自动调优［J］. 电脑知识与技术， 2012， 8（12）：2768-2772. 10.3969/j.issn.1009-3044.2012.12.036
	WANG J， LIU Y F. Parameter auto-tuning of Hadoop clusters［J］. Computer Knowledge and Technology， 2012， 8（12）： 2768-2772. 10.3969/j.issn.1009-3044.2012.12.036
11	刘辉勇，王勇，俸皓. Ceph云存储中基于混合文件系统的读写性能优化方法［J］. 微电子学与计算机， 2018， 35（5）：27-34.
	LIU H Y， WANG Y， FENG H. Optimization of Ceph reads and writes performance based on hybrid file system［J］. Microelectronics and Computer， 2018， 35（5）： 27-34.
12	BEI Z， YU Z， ZHANG H， et al. RFHOC： a random-forest approach to auto-tuning Hadoop’s configuration［J］. IEEE Transactions on Parallel and Distributed Systems， 2016， 27（5）： 1470-1483. 10.1109/tpds.2015.2449299
13	YU Z， BEI Z， QIAN X. Datasize-aware high dimensional configurations auto-tuning of in-memory cluster computing［C］// Proceedings of the 23rd International Conference on Architectural Support for Programming Languages and Operating Systems. New York： ACM， 2018：564-577. 10.1145/3173162.3173187
14	YILDIRIM G， HALLAC İ R， AYDIM G， et al. Running genetic algorithms on Hadoop for solving high dimensional optimization problems［C］// Proceedings of the IEEE 9th International Conference on Application of Information and Communication Technologies. Piscataway： IEEE， 2015： 12-16. 10.1109/icaict.2015.7338506
15	BEI Z， YU Z， LUO N， et al. Configuring in-memory cluster computing using random forest［J］. Future Generation Computer Systems， 2018， 79（1）：1-15. 10.1016/j.future.2017.08.011

[1]	刘栋, 李晨航, 吴长茂, 茹法鑫, 夏媛媛. 基于可校正强化搜索遗传算法的光学系统自动设计[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2838-2847.
[2]	李炫锋, 刘晟材, 唐珂. 机会约束的多选择背包问题的遗传算法求解[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1378-1385.
[3]	高麟, 周宇, 邝得互. 进化双层自适应局部特征选择[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1408-1414.
[4]	佘维, 李阳, 钟李红, 孔德锋, 田钊. 基于改进实数编码遗传算法的神经网络超参数优化[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 671-676.
[5]	梁军, 洪泽泓, 余松森. 基于改进粒子群优化算法和遗传变异的图像分割模型[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1743-1749.
[6]	王彬, 向甜, 吕艺东, 王晓帆. 基于NSGA‑Ⅱ的自适应多尺度特征通道分组优化算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1401-1408.
[7]	翟冉, 陈学斌, 张国鹏, 裴浪涛, 马征. 基于不同敏感度的改进K-匿名隐私保护算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1497-1503.
[8]	张敏, 韩晓龙. 多目标模糊机会约束规划的低碳多式联运路径优化[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 636-644.
[9]	邓辅秦, 黄焕钊, 谭朝恩, 付兰慧, 张建民, 林天麟. 结合遗传算法和滚动调度的多机器人任务分配算法[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3833-3839.
[10]	薛海蓉, 韩晓龙. 基于改进NSGA-Ⅱ的考虑自动引导车充电策略的集成调度[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3848-3855.
[11]	徐精诚, 陈学斌, 董燕灵, 杨佳. 融合特征选择的随机森林DDoS攻击检测[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3497-3503.
[12]	谢康, 姜国庆, 郭杭鑫, 刘峥. 基于改进GM（1，n）的动态网络舆情预警模型[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 299-305.
[13]	范厚明, 牟爽, 岳丽君. 考虑冲突和拥堵的自动导引车调度与路径规划协同优化[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2281-2291.
[14]	刘延飞, 彭征, 王艺辉, 王忠. 基于改进的遗传算法的有刷直流电机PID参数整定[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1634-1641.
[15]	李晓寒, 贾华丁, 程雪, 李太勇. 基于改进遗传算法和图神经网络的股市波动预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1624-1633.

基于随机森林和遗传算法的Ceph参数自动调优

Automatic tuning of Ceph parameters based on random forest and genetic algorithm

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 15

相关文章 15

编辑推荐

Metrics