分布式系统中局部处理机的设计与实现

doi:10.11772/j.issn.1001-9081.2015.05.1290

计算机应用 ›› 2015, Vol. 35 ›› Issue (5): 1290-1295.DOI: 10.11772/j.issn.1001-9081.2015.05.1290

分布式系统中局部处理机的设计与实现

魏敏, 刘以安, 吴鸿雁

江南大学数字媒体学院, 江苏无锡 214122

收稿日期:2014-12-19 修回日期:2015-02-07 出版日期:2015-05-10 发布日期:2015-05-14
通讯作者: 魏敏
作者简介:魏敏(1979-),女,江苏扬州人,讲师,硕士,主要研究方向:模式识别、图像处理; 刘以安(1963-),男,江苏涟水人,教授,博士,CCF会员,主要研究方向:数据融合、雷达对抗、模式识别、智能系统; 吴鸿雁(1961-), 女,上海人,副教授,硕士, 主要研究方向:人机界面、数据挖掘.

Design and implementation of local processor in a distributed system

WEI Min, LIU Yi'an, WU Hongyan

School of Digital Media, Jiangnan University, Wuxi Jiangsu 214122, China

Received:2014-12-19 Revised:2015-02-07 Online:2015-05-10 Published:2015-05-14

摘要/Abstract

摘要：

针对企业生产过程中存在大量原始数据需要实时处理的问题,设计并实现了一个基于自定义架构的局部处理机.在设计之初以Hadoop的并行架构为参考,对MapReduce的工作原理和缓存方式进行了分析,在此基础上根据实际生产环境设计了一个"多类线程协同处理"的程序架构,并辅以两类自定义的数据缓存方式,保证了分布式系统中的局部处理机在接收、计算、上传各环节的并发性和正确性.该系统投入实际生产并连续使用一年有余,实现了将企业多个车间生成的原始数据进行实时处理的预期目标,具有很好的稳定性、有效性和可扩展性.实际应用结果表明,自定义的程序架构和有效的缓存方式能实现大量数据的同步处理及分析.

关键词: Hadoop, MapReduce, 数据缓存, 并发, 局部处理机, 分布式系统

Abstract:

Concerning the problem that there is a lot of data which need to be real-time processed during the production process, the local processor, based on multi-thread and co-processing architecture and two data buffer mechanisms was accomplished. As a reference, multi-functional thread in Hadoop's parallel architecture has an impressed impact on the design of the local processor, especially MapReduce principle. Based on the user-defined architecture, the local processor ensures data concurrency and correctness during receiving, computing and uploading. The system has been put into production for over one year. It can meet the enterprise requirements and has good stability, real-time, effectiveness and scalablility. The application result shows that the local processor can achieve synchronized analysis and processing of mass data.

Key words: Hadoop, MapReduce, data buffer, concurrency, local processor, distributed system

中图分类号:

TP316.4

魏敏, 刘以安, 吴鸿雁. 分布式系统中局部处理机的设计与实现[J]. 计算机应用, 2015, 35(5): 1290-1295.

WEI Min, LIU Yi'an, WU Hongyan. Design and implementation of local processor in a distributed system[J]. Journal of Computer Applications, 2015, 35(5): 1290-1295.

参考文献

[1] ADYA A, HOWELL J, THEIMER M, et al. Cooperative task management without manual stack management[C]// Proceedings of the General Track of the Annual Conference on USENIX Annual Technical Conference. Berkeley: USENIX Association, 2002:289-302.
[2] Apache Hadoop[EB/OL].[2014-12-06].http://hadoop.apache.org.
[3] WEISS G. Multi-Agent systems: a modern approach to distributed artificial intelligence[M].Cambridge: MIT Press, 1999:121-165.
[4] LUO Y, SHAO Z. Progress and prospects of standardization for Agent technology[J]. Computer Applications and Software, 2009,26(3):179-183. (罗勇军,邵志清. Agent技术的标准化进度与前景[J]. 计算机应用与软件, 2009, 26(3): 179-183.)
[5] SUN Z, YUAN Z, HUANG Z. The application of Hadoop on the data-intensive computing[C/OL].[2014-06-20]. http://www.docin.com/p-159855715.html&endPro=true.
[6] LINDHOLM T, YELLIN F, BRACHA G, et al. The Java virtual machine specification:Java SE 7[M].ZHOU Z,XUE D,WU P,et al, translated. Beijing:China Machine Press,2014:1-51.(LINDHOLM T, YELLIN F, BRACHA G. Java虚拟机规范:Java SE 7版[M].周志明,薛笛,吴璞渊,等, 译.北京:机械工业出版社,2014:1-51.)
[7] LIU X, ZENG B. A scheme design of using thread-pool to solve concurrent requests on server[J]. Modern Electronic Technique,2011,34(15):141-143.(刘新强,曾兵义.用线程池解决服务器并发请求的方案设计[J].现代电子技术,2011,34(15):141-143.)
[8] ZHANG Y. Thread pool in the concurrent server[J].Computer and Digital Engineering, 2012, 40(7): 153-156.(张垠波.线程池技术在并发服务器中的应用[J].计算机与数字工程, 2012, 40(7): 153-156.)
[9] ECKEL B. Thinking in Java[M]. HOU J, translated. Beijing: China Machine Press,2002:594-647. (ECKEL B. Java编程思想[M].侯捷,译.北京:机械工业出版社,2002:594-647.)
[10] LEI D, ZENG Q. Summary-based method to improve memory leak analysis[J]. Application Research of Computers, 2011, 28(11): 4315-4319.(雷达, 曾庆凯.基于摘要的内存泄露分析方法改进[J].计算机应用研究,2011,28(11): 4315-4319.)
[11] GOETZ B, PEIERLS T, BLOCH J, et al. Java concurrency in practice[M]. TONG Y, translated. Beijing: China Machine Press,2012:73-77.(GOETZ B, PEIERLS T, BLOCH J,等. Java并发编程实践[M].童云兰,译.北京:机械工业出版社,2012:73-77.)
[12] ZHOU Z, ZHANG D, MIAO L. Model checking the concurrent programs based on the Java memory model[J].Computer Engineering and Science,2010,32(3):111-114.(周志远,张大方,缪力. 基于Java内存模型的并发程序模型检测[J].计算机工程与科学,2010,32(3):111-114.)

[1]	张杨, 董士程. 面向并发程序中锁机制的智能化推荐方法[J]. 计算机应用, 2021, 41(6): 1597-1603.
[2]	韩雨涝, 房鼎益. 基于链路交点相对位置信息的轻量级覆盖空洞检测算法[J]. 计算机应用, 2020, 40(9): 2698-2705.
[3]	吴志军, 王航. 基于订阅/发布服务的广域信息管理系统应急响应机制[J]. 计算机应用, 2020, 40(5): 1340-1347.
[4]	董聪, 张晓, 程文迪, 石佳. 基于新型存储器件的分布式文件系统性能优化[J]. 计算机应用, 2020, 40(12): 3594-3603.
[5]	李耘书, 滕飞, 李天瑞. 基于微操作的Hadoop参数自动调优方法[J]. 计算机应用, 2019, 39(6): 1589-1594.
[6]	孙慧明, 杜玉越. 针对多并发三角形二度循环结构的过程模型挖掘方法[J]. 计算机应用, 2019, 39(3): 851-857.
[7]	郭方方, 潮洛蒙, 朱建文. 基于相似连接的多源数据并行预处理方法[J]. 计算机应用, 2019, 39(1): 57-60.
[8]	张杨, 梁亚楠, 张冬雯, 孙仕欣. 并发程序中数据竞争检测方法[J]. 计算机应用, 2019, 39(1): 61-65.
[9]	郑振涛, 赵卓峰, 王桂玲, 徐垚. 面向港口停留区域识别的船舶停留轨迹提取方法[J]. 计算机应用, 2019, 39(1): 113-117.
[10]	陈博, 何连跃, 严巍巍, 徐照淼, 徐俊. 海量小文件系统的可移植操作系统接口兼容技术[J]. 计算机应用, 2018, 38(5): 1389-1392.
[11]	曹云鹏, 王海峰. 面向MapReduce计算模式的中间数据通信优化[J]. 计算机应用, 2018, 38(4): 1078-1083.
[12]	马友忠, 张智辉, 林春杰. 大数据相似性连接查询技术研究进展[J]. 计算机应用, 2018, 38(4): 978-986.
[13]	张承畅, 张华誉, 罗建昌, 何丰. 基于云计算和改进K-means算法的海量用电数据分析方法[J]. 计算机应用, 2018, 38(1): 159-164.
[14]	周岳, 陈庆奎. 面向大规模数据接入系统的负载平衡机制[J]. 计算机应用, 2018, 38(1): 50-55.
[15]	李强, 刘晓峰. 基于Hopfield神经网络的云存储负载均衡策略[J]. 计算机应用, 2017, 37(8): 2214-2217.

分布式系统中局部处理机的设计与实现

Design and implementation of local processor in a distributed system

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics