基于随机森林和遗传算法的Ceph参数自动调优

doi:10.11772/j.issn.1001-9081.2019081366

《计算机应用》唯一官方网站 ›› 2020, Vol. 40 ›› Issue (2): 347-351.DOI: 10.11772/j.issn.1001-9081.2019081366

• 2019年全国开放式分布与并行计算学术年会(DPCS 2019)论文 • 上一篇下一篇

基于随机森林和遗传算法的Ceph参数自动调优

陈禹, 毛莺池()

河海大学计算机与信息学院，南京 211100

收稿日期:2019-07-31 修回日期:2019-09-17 接受日期:2019-09-23 发布日期:2019-09-29 出版日期:2020-02-10
通讯作者: 毛莺池
作者简介:陈禹（1994—），男，江苏南通人，硕士研究生，主要研究方向：分布式计算、并行处理；
基金资助:
国家重点研发计划项目(2018YFC0407905);华能集团重点研发课题资助项目(HNKJ17-21)

Automatic tuning of Ceph parameters based on random forest and genetic algorithm

Yu CHEN, Yingchi MAO()

College of Computer and Information，Hohai University，Nanjing Jiangsu 211100，China

Received:2019-07-31 Revised:2019-09-17 Accepted:2019-09-23 Online:2019-09-29 Published:2020-02-10
Contact: Yingchi MAO
About author:CHEN Yu， born in 1994， M. S. candidate. His research interests include distributed computing， parallel processing.
Supported by:
the National Key Research and Development Program of China(2018YFC0407905);the Key Research and Development Project of China Huaneng Group(HNKJ17-21)

摘要/Abstract

摘要：

Ceph系统性能受Ceph配置参数的显著影响，在Ceph集群的配置优化中，配置参数种类繁多、含义复杂，导致难以实现快速准确寻优。针对以上问题，提出一种基于随机森林（RF）和遗传算法（GA）的参数调优方法，用于自动调整Ceph参数配置以优化Ceph系统性能。该方法使用RF算法为Ceph系统构建性能预测模型，并将预测模型的输出作为GA的输入，通过GA对参数配置方案进行自动迭代优化。仿真结果表明，调优后的参数配置较默认的参数配置相比，使Ceph文件系统的读写性能提高了约1.4倍，并且寻优耗时远低于黑盒参数调优方法。

关键词: Ceph, 参数配置, 随机森林, 遗传算法, 自动调优

Abstract:

The performance of Ceph system is significantly affected by the configuration parameters. In the optimization of configuration of Ceph cluster， there are many kinds of configuration parameters with complex meanings， which makes it difficult to achieve fast and accurate optimization. To solve the above problems， a parameter tuning method based on Random Forest （RF） and Genetic Algorithm （GA） was proposed to automatically adjust the Ceph parameter configuration in order to optimize the Ceph system performance. RF algorithm was used to construct a performance prediction model for the Ceph system， and the output of the prediction model was used as the input of GA， then the parameter configuration scheme was automatically and iteratively optimized by using GA. Simulation results show that compared with the system with default parameter configuration， the Ceph file system with optimized parameter configuration has the read and write performance improved by about 1.4 times， and the optimization time is much lower than that of the black box parameter tuning method.

Key words: Ceph, parameter configuration, Random Forest (RF), Genetic Algorithm (GA), automatic tuning

中图分类号:

TP393.06

陈禹, 毛莺池. 基于随机森林和遗传算法的Ceph参数自动调优[J]. 计算机应用, 2020, 40(2): 347-351.

Yu CHEN, Yingchi MAO. Automatic tuning of Ceph parameters based on random forest and genetic algorithm[J]. Journal of Computer Applications, 2020, 40(2): 347-351.

图/表 9

表1 Ceph配置参数说明

Tab. 1 Description of Ceph configuration parameters

参数名	数据类型	默认值	范围
filestore max sync interval	integer	5	5~16
filestore min sync interval	float	0.01	0.01~5
filestore op threads	integer	2	1~32
filestore queue max ops	integer	50	16~25 000
osd max write size	integer	90	30~2 000
osd op threads	integer	2	1~32
osd map cache size	integer	200	64~1 024

图1 不同参数配置下性能变化

Fig. 1 Performance changes with different parameter configurations

图2 模型总体架构

Fig. 2 Overall architecture of the proposed model

图3 参数寻优框架

Fig. 3 Framework of parameter optimization

图4 m和k值对模型精度的影响

Fig. 4 Influence of m and k values on model accuracy

图5 随机森林预测效果图

Fig. 5 Random forest prediction effect map

图6 几种模型的综合性能对比

Fig. 6 Performance comparison of several models

图7 读写性能与GA迭代步数关系

Fig. 7 Relationship between read and write performance and GA iteration step

图8 不同大小文件下寻优效率对比

Fig. 8 Comparison of optimization efficiency under different file sizes

参考文献 15

1	HUANG M， LUO L， LI Y， et al. Research on data migration optimization of Ceph［C］// Proceedings of the 14th International Computer Conference on Wavelet Active Media Technology and Information Processing. Piscataway： IEEE， 2017： 83-88. 10.1109/iccwamtip.2017.8301454
2	李翔. Ceph分布式文件系统的研究及性能测试［D］. 西安：西安电子科技大学， 2014：15-20.
	LI X. Research and performance testing of the Ceph distributed file system［D］. Xi’an： Xidian University， 2014：15-20.
3	ZHANG X， GADDAM S， CHRONOPOULOS A T. Ceph distributed file system benchmarks on an Openstack cloud［C］// Proceedings of the 2015 IEEE International Conference on Cloud Computing in Emerging Markets. Piscataway： IEEE， 2015： 113-120. 10.1109/ccem.2015.12
4	CAO Z， TARASOV V， TIWARI S. Towards better understanding of black-box auto-tuning： a comparative analysis for storage systems［C］// Proceedings of the 2018 Annual USENIX Technical Conference. Berkeley： USENIX Association， 2018： 893-907.
5	YIGITBASI N， WILLKE T L， LIAO G， et al. Towards machine learning-based auto-tuning of MapReduce［C］// Proceedings of the IEEE 21st International Symposium on Modeling， Analysis and Simulation of Computer and Telecommunication Systems. Piscataway： IEEE， 2013：11-20. 10.1109/mascots.2013.9
6	曾林西. 基于性能预估的Hadoop参数自动调优系统［D］. 武汉：华中科技大学， 2013： 34-37.
	ZENG X L. A cost-based optimizer for configuration parameters of Hadoop candidate［D］. Wuhan： Huazhong University of Science and Technology， 2013： 34-37.
7	CAI L， QI Y， LI J. A Recommendation-based parameter tuning approach for Hadoop［C］// Proceedings of the 2017 IEEE International Symposium on Cloud and Service Computing. Piscataway： IEEE， 2017：223-230. 10.1109/sc2.2017.41
8	马跃，余骋远，于碧辉. 基于资源签名与遗传算法的Hadoop参数自动调优系统［J］. 计算机应用研究， 2017， 34（11）：3219-3222， 3228. 10.3969/j.issn.1001-3695.2017.11.004
	MA Y， YU C Y， YU B H. Hadoop parameter automatic tuning system based on resource signature and genetic algorithm［J］. Application Research of Computers， 2017， 34（11）： 3219-3222， 3228. 10.3969/j.issn.1001-3695.2017.11.004
9	WU D， WANG Y， FENG H， et al. Optimization design and realization of Ceph storage system based on software defined network［C］// Proceedings of the 13th International Conference on Computational Intelligence and Security. Piscataway： IEEE， 2017：277-281. 10.1109/cis.2017.00067
10	王皎，刘闫锋. Hadoop集群参数的自动调优［J］. 电脑知识与技术， 2012， 8（12）：2768-2772. 10.3969/j.issn.1009-3044.2012.12.036
	WANG J， LIU Y F. Parameter auto-tuning of Hadoop clusters［J］. Computer Knowledge and Technology， 2012， 8（12）： 2768-2772. 10.3969/j.issn.1009-3044.2012.12.036
11	刘辉勇，王勇，俸皓. Ceph云存储中基于混合文件系统的读写性能优化方法［J］. 微电子学与计算机， 2018， 35（5）：27-34.
	LIU H Y， WANG Y， FENG H. Optimization of Ceph reads and writes performance based on hybrid file system［J］. Microelectronics and Computer， 2018， 35（5）： 27-34.
12	BEI Z， YU Z， ZHANG H， et al. RFHOC： a random-forest approach to auto-tuning Hadoop’s configuration［J］. IEEE Transactions on Parallel and Distributed Systems， 2016， 27（5）： 1470-1483. 10.1109/tpds.2015.2449299
13	YU Z， BEI Z， QIAN X. Datasize-aware high dimensional configurations auto-tuning of in-memory cluster computing［C］// Proceedings of the 23rd International Conference on Architectural Support for Programming Languages and Operating Systems. New York： ACM， 2018：564-577. 10.1145/3173162.3173187
14	YILDIRIM G， HALLAC İ R， AYDIM G， et al. Running genetic algorithms on Hadoop for solving high dimensional optimization problems［C］// Proceedings of the IEEE 9th International Conference on Application of Information and Communication Technologies. Piscataway： IEEE， 2015： 12-16. 10.1109/icaict.2015.7338506
15	BEI Z， YU Z， LUO N， et al. Configuring in-memory cluster computing using random forest［J］. Future Generation Computer Systems， 2018， 79（1）：1-15. 10.1016/j.future.2017.08.011

[1]	张闻强, 邢征, 杨卫东. 基于多区域采样策略的混合粒子群优化求解多目标柔性作业车间调度问题[J]. 计算机应用, 2021, 41(8): 2249-2257.
[2]	张盟, 郭健全. 需求和回收不确定的闭环供应链渠道结构选择[J]. 计算机应用, 2021, 41(7): 2100-2107.
[3]	杨震, 马健霄, 王宝杰. 设置待行区条件下双环相位信号配时优化模型[J]. 计算机应用, 2021, 41(7): 2108-2112.
[4]	李进, 王凤, 杨沈宇. 换电模式下电动车货运路径优化模型与算法[J]. 计算机应用, 2021, 41(6): 1792-1798.
[5]	张杨, 董士程. 面向并发程序中锁机制的智能化推荐方法[J]. 计算机应用, 2021, 41(6): 1597-1603.
[6]	李舒仪, 韩晓龙. 海铁联运港口混合作业模式下轨道吊与集卡协同调度[J]. 计算机应用, 2021, 41(5): 1506-1513.
[7]	周美玲, 陈淮莉. 基于负荷平衡的电动汽车模糊多目标充电调度算法[J]. 计算机应用, 2021, 41(4): 1192-1198.
[8]	余东昌, 赵文芳, 聂凯, 张舸. 基于LightGBM算法的能见度预测模型[J]. 计算机应用, 2021, 41(4): 1035-1041.
[9]	马晓梅, 何非. 基于改进遗传算法的标签印刷生产调度技术[J]. 计算机应用, 2021, 41(3): 860-866.
[10]	王彬溶, 谭代伦, 郑伯川. 基于旅行商问题转化和遗传算法求解汽配件喷涂顺序[J]. 计算机应用, 2021, 41(3): 881-886.
[11]	黄书召, 田军委, 乔路, 王沁, 苏宇. 基于改进遗传算法的无人机路径规划[J]. 计算机应用, 2021, 41(2): 390-397.
[12]	张阳, 王小宁. 基于Word2Vec词嵌入和高维生物基因选择遗传算法的文本特征选择方法[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3151-3155.
[13]	黄晓祥, 胡咏梅, 吴丹, 任力杰. 基于变分自编码器的异常颈动脉早期识别和预测[J]. 计算机应用, 2021, 41(10): 3082-3088.
[14]	杨华龙, 王美玉, 辛禹辰. 横向整合战略下异质车辆库存路径优化模型[J]. 计算机应用, 2021, 41(10): 3040-3048.
[15]	陈桢, 钟一文, 林娟. 求解0-1背包问题的混合贪婪遗传算法[J]. 计算机应用, 2021, 41(1): 87-94.

基于随机森林和遗传算法的Ceph参数自动调优

Automatic tuning of Ceph parameters based on random forest and genetic algorithm

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 15

相关文章 15

编辑推荐

Metrics