NEMO模式系统基于“天河一号”的存储性能分析与优化

计算机应用 ›› 2012, Vol. 32 ›› Issue (05): 1411-1414.

NEMO模式系统基于“天河一号”的存储性能分析与优化

朱小谦¹,²,孙超³,孟祥飞²,张保²,冯景华²

1. 国防科学技术大学计算机学院,长沙 410073
2. 国家超级计算天津中心,天津 300457
3. 天津大学计算机科学与技术学院,天津 300072

收稿日期:2011-11-03 修回日期:2011-12-17 发布日期:2012-05-01 出版日期:2012-05-01
通讯作者: 朱小谦
作者简介:朱小谦(1974-)，男，湖南望城人，研究员，博士，CCF高级会员，主要研究方向：并行算法、高性能计算；孙超(1987-)，男，河北沧州人，硕士，主要研究方向：并行计算；孟祥飞(1979-)，男，山东临沂人，博士，主要研究方向：高性能计算；张保(1987-)，男，河北衡水人，硕士研究生，主要研究方向：并行计算；冯景华(1984-)，男，河北沧州人，硕士，主要研究方向：高性能计算。

Storage performance analysis and optimization of NENO system on TH-1A computer

ZHU Xiao-qian¹,²,SUN Chao³,MENG Xiang-fei²,ZHANG Bao²,FENG Jing-hua²

1. College of Computer, National University of Defense Technology, Changsha Hunan 410073, China
2. National Supercomputer Center in Tianjin, Tianjin 300457, China
3. School of Computer Science and Technology, Tianjin University, Tianjin 300072, China

Received:2011-11-03 Revised:2011-12-17 Online:2012-05-01 Published:2012-05-01
Contact: ZHU Xiao-qian

摘要/Abstract

摘要： 在“天河一号”超级计算机上测试NEMO模式系统，针对NEMO模式在进行大量进程并发存储时所导致的整体应用性能下降问题，提出了并发进程分组输出优化方法。通过将大量并发存储的进程进行合理分组并排队输出，以解决大量进程同时读写文件时对存储资源的竞争所导致的存储效率下降问题。测试表明，在使用分组输出优化方法后，NEMO模式GYRE012算例的存储性能最高可提升33%以上，总体时间性能最高可提升28%以上。

关键词: “天河一号”, 并发进程分组输出, NEMO模式系统, GYRE012算例, Lustre文件系统

Abstract: A concurrent processes grouping output method was proposed to address the problem that storage performance decreases when testing Nucleus for European Modeling of the Ocean (NEMO) system with massive processes on TH-1A supercomputer. This method designed a reasonable control strategy based on TH-1A architecture and split processes into groups to alleviate the process competition of concurrency I/O. Testing result shows that the storage performance of the GYRE012 global sample can be improved more than 33% using the optimization method of concurrent processes grouping output, and in the mean time the total performance can be improved about 28%.

Key words: TH-1A, concurrent processes grouping output, Nucleus for European Modeling of the Ocean (NEMO)system, GYRE012 global sample, Lustre file system

中图分类号:

TP399
TP302

朱小谦孙超孟祥飞张保冯景华. NEMO模式系统基于“天河一号”的存储性能分析与优化[J]. 计算机应用, 2012, 32(05): 1411-1414.

ZHU Xiao-qian SUN Chao MENG Xiang-fei ZHANG Bao FENG Jing-hua. Storage performance analysis and optimization of NENO system on TH-1A computer[J]. Journal of Computer Applications, 2012, 32(05): 1411-1414.

参考文献

［1］MEUER H, STROHMAIER E,DONGARRA J, et al. TOP500 List-November 2010 (1-100)［EB/OL］. ［2011-10-10］.http://www.top500.org/list/2010/11/100.

［2］朱小谦.“天河一号”：中国的世界速度［J］.科学,2011,63(6):7-10.

［3］ZHU XIAOQIAN, LIU XIN, MENG XIANGFEI, et al. Performance analysis and optimization of Gyrokinetic Torodial code on TH-1A supercomputer ［C］// 2011 International Conference on Electrical and Control Engineering. Washington, DC: IEEE Computer Society, 2011: 6027-6031.

［4］朱小谦，冯景华，张选民.超级计算与叠前偏移和叠前反演［C］// SPG/SEG深圳2011国际地球物理会议论文集.深圳:中国石油学会物探专业委员会&美国勘探地球物理家学会，2011:1019-1025.

［5］张军华，臧胜涛，单联瑜，等.高性能计算的发展现状及趋势［J］.石油地球物理勘探,2010,45(6):918-925.

［6］朱小谦.有限差分离散模型分布并行计算支持库技术［J］.计算机工程与科学,2009,31(A1):191-193.

［7］JAMES C, LAURENT B, PIERRE B, et al. Ocean data assimilation systems for GODAE ［J］. Physical and Dynamic Oceanography, 2009, 22(3): 96-109.

［8］BRASSEUR P, GRUBER N, BARCIELA R, et al. Integrating biogeochemistry and ecology into ocean data assimilation systems ［J］. Oceanography, 2009, 22(3): 206-215.

［9］ARNE B, CLAUS W B, JULIA G. Causes of interannual-decadal variability in the meridional overturning circulation of the midlatitude north Atlantic ocean ［J］. Journal of Climate, 2008, 21(24): 6599-6615.

［10］YANG XUE-JUN, LIAO XIANG-KE, LU KAI, et al. The TianHe-1A supercomputer: Its hardware and software ［J］. Journal of Computer and Science and Technology, 2011, 26(3):344-351.

［11］陈四建，吴庆波，周恩强．Lustre文件系统性能评测与分析［C］// 第十三届全国信息存储技术学术会议.西安:中国计算机学会，2004:511-515.

［12］张媛，卢泽新，刘亚萍.NFS over Lustre性能评测与分析［J］.计算机工程,2007,33(10):274-276.

［13］谢旻，卢宇彤，周恩强，等.基于Lustre文件系统的MPI检查点系统实现技术与性能测试［J］.计算机研究与发展,2007,44(10):1709-1716.

［14］钱迎进，金士尧，肖侬.Lustre文件系统I/O锁的应用与优化［J］.计算机工程与应用,2011,47(3):1-5.

［15］王博，李先国，张晓.Lustre文件系统的性能优化研究［J］.微型电脑应用,2011,27(5):31-36.

［16］李柱，周恩强，廖湘科.Filter Cache：一种提高Lustre I/O性能的方法［J］.计算机研究与发展,2009, 46(z2):71-77.

[1]	黄顺亮王琦. 基于三支决策理论的客户细分方法[J]. 计算机应用, 2014, 34(1): 244-248.
[2]	王斌邹雪梅盛津芳. 井下火灾中逃生人员健康度评价模型[J]. 计算机应用, 2013, 33(09): 2653-2657.
[3]	熊辉王川. 云应用分类与基于预测的细粒度云资源提供[J]. 计算机应用, 2013, 33(06): 1534-1539.
[4]	申晨孙永雄黄丽平刘李蓬李树秋. 改进模糊自回归模型在预测网络接通率中的应用[J]. 计算机应用, 2013, 33(05): 1222-1229.
[5]	曾鹦李军朱晖. 考虑乘客感知的公交随机用户均衡配流[J]. 计算机应用, 2013, 33(04): 1149-1152.
[6]	叶廷东黄国健洪晓斌. 基于IEEE1451的智能监控系统数据交换技术研究[J]. 计算机应用, 2013, 33(04): 1183-1186.
[7]	骆嘉伟梁成宋丹李光辉. 蛋白质相互作用网络演化模型研究进展[J]. 计算机应用, 2013, 33(03): 816-820.
[8]	杨辉华任洪军李灵巧段礼新郭拓杜玲玲漆小泉. 基于Sector/Sphere的气相色谱-质谱联用多样本并行对齐算法[J]. 计算机应用, 2013, 33(01): 215-218.
[9]	贺怀清孙希栋. 基于GPU的光子映射并行化算法[J]. 计算机应用, 2012, 32(07): 1939-1942.
[10]	夏林丽雷宏. 多项目多任务选择计划模型及其智能决策[J]. 计算机应用, 2012, 32(05): 1316-1319.
[11]	靳晶郑屹黄心渊. 基于音乐视觉化的游戏设计与开发[J]. 计算机应用, 2012, 32(05): 1481-1483.
[12]	白明泽程丽豆育升孙世新. 基于OpenMP的分子动力学并行算法的性能分析与优化[J]. 计算机应用, 2012, 32(01): 163-166.
[13]	杨迎心冯志勇饶国政石红. 基于模糊综合评价构建物流运输预警模型[J]. 计算机应用, 2011, 31(10): 2844-2848.
[14]	王成军. 基于信息流的大型灌区信息传递与控制模型研究[J]. 计算机应用, 2005, 25(12): 2945-2947.
[15]	陈思婕;郑建生;代永红. 基于虹膜识别技术的网上银行解决方案[J]. 计算机应用, 2005, 25(12): 2935-2937.