基于GemFire的海量数据计算性能实验分析

doi:10.3724/SP.J.1087.2013.00226

计算机应用 ›› 2013, Vol. 33 ›› Issue (01): 226-229.DOI: 10.3724/SP.J.1087.2013.00226

基于GemFire的海量数据计算性能实验分析

徐翔,邹复民,廖律超,朱铨

福建工程学院下一代互联网技术应用研究开发中心，福州 350108

收稿日期:2012-07-16 修回日期:2012-09-03 出版日期:2013-01-01 发布日期:2013-01-09
通讯作者: 邹复民
作者简介:徐翔(1980-)，男，福建福州人，硕士，主要研究方向：云计算在交通运输行业的应用；邹复民(1976-)，男，湖南隆回人，副教授，博士，主要研究方向：无线宽带网络、交通物联网；廖律超(1980-)，男，福建福州人，博士研究生,主要研究方向：物联网在交通运输行业的应用;朱铨(1983-)，男，湖北黄冈人，博士研究生,主要研究方向：车载Internet在智能交通的应用。
基金资助:
国家自然科学基金资助项目(61101139);福建省杰出青年基金资助项目(2012J06015);福建省重大专项专题项目(2011HZ0002-1)

Experimental analysis for calculation performance of mass data based on GemFire

XU Xiang,ZOU Fumin,LIAO Lyuchao,ZHU Quan

Research Center for Next-Generation Internet Technology and Applications, Fujian University of Technology, Fuzhou Fujian 350108, China

Received:2012-07-16 Revised:2012-09-03 Online:2013-01-01 Published:2013-01-09
Contact: ZOU Fumin

摘要/Abstract

摘要： 针对交通领域多源动态海量数据高性能计算的实时性、动态扩展性处理要求，提出了一种基于GemFire的分布式内存数据库实验平台。采用键-值数据存储结构和分布式动态成员关系，通过加载浮动车系统的真实数据在完整的云计算架构下，进行了计算性能测试与分析。实验结果表明，平台可将千万级以上大数据量的计算时间缩短至原系统的10%以内，满足了交通物联网云平台整合利用各子系统数据资源的应用需求。

关键词: 海量数据, 分布式内存数据库, 云计算, 动态扩展性

Abstract: With the demand of real-time and dynamic scalability processing for multi-source mass data in transportation, this paper proposed a distributed in-memory database experimental platform based on GemFire. The platform used the attributes of GemFire, such as key-value data storage structure and distributed dynamic membership. The actual data from floating car system was used to complete the performance analysis in cloud computing architecture. The experimental results show that the platform can shorten the calculation time of mass data to less than 10% of the existing system and basically satisfy the application requirements of transport data resources integration in cloud computing platform.

Key words: mass data, distributed in-memory database, cloud computing, dynamic scalability

中图分类号:

TP393.03

徐翔邹复民廖律超朱铨. 基于GemFire的海量数据计算性能实验分析[J]. 计算机应用, 2013, 33(01): 226-229.

XU Xiang ZOU Fumin LIAO Lyuchao ZHU Quan. Experimental analysis for calculation performance of mass data based on GemFire[J]. Journal of Computer Applications, 2013, 33(01): 226-229.

参考文献

［1］十二五智能交通规划,打造物联网十倍商机［EB/OL］. (2011-10-19)［2012-05-10］. http://www.chinadaily.com.cn/mic-roreading/tech/2011-10-19/content_4107623.htm.

［2］张国伍.城市智能交通物联网建设探讨——“交通7+1论坛”第二十三次会议纪实［J］.交通运输系统工程与信息,2011,11(4):1-9.

［3］谢辉,董德存,欧冬秀.基于物联网的新一代智能交通［J］.交通科技与经济,2011,13(1):33-36.

［4］薛竹飙.实时内存数据库关键技术的研究与实现［D］.南京:东南大学,2006.

［5］石建军,李晓莉.交通信息云计算及其应用研究［J］.交通运输系统工程与信息,2011,11(1):179-184.

［6］杨武军,张继荣,屈军锁.内存数据库技术综述［J］.西安邮电学院学报,2005,10(3):95-99.

［7］王珊,肖艳芹,刘大为,等.内存数据库关键技术研究［J］.计算机应用,2007,27(10):2353-2357.

［8］袁培森,皮德常.用于内存数据库的Hash索引的设计与实现［J］.计算机工程,2007,33(18):69-71.

［9］李娇,刘全,傅启明,等.分布式数据库中基于局部CON模型的记录匹配方法［J］.通信学报,2011,32(7):196-202.

［10］李剑.电网监控系统中分布式内存数据库系统的研究［D］.南京:河海大学,2004.

［11］侯建,帅仁俊,侯文.基于云计算的海量数据存储模型［J］.通信技术,2011,44(5):163-165.

［12］邵璐,费洪晓.内存数据库技术在移动实时累加系统中的应用［J］.计算机系统应用,2011,20(8):169-173.

［13］沈斌,蒋昌俊,章昭辉,等.一种基于海量GPS数据的分布式地图匹配系统的设计与实现［J］.小型微型计算机系统,2007,28(3):479-481.

［14］朱鑫,秦秀磊,王联华,等.弹性分布式缓存动态扩展方法研究［J］.计算机科学与探索,2012,6(2):97-107.

［15］朱德新,宋雅娟.海量数据分析及处理算法实现［J］.长春大学学报,2011,21(8):42-45.

［16］Wikipedia. Cloud computing ［EB/OL］. ［2012-05-05］. http://en.wikipedia.org/wiki/Cloud_computing.

［17］陈康,郑纬民.云计算:系统实例与研究现状［J］.软件学报,2009,20(5):1337-1348.

［18］DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters ［J］. Communications of the ACM, 2008, 51(1): 107-113.

［19］覃雄派,王会举,杜小勇,等.大数据分析——RDBMS与MapReduce的竞争与共生［J］.软件学报,2012,23(1):32-45.

［20］王珊,王会举,覃雄派,等.架构大数据:挑战、现状与展望［J］.计算机学报,2011,34(10):1741-1752.

［21］MARZ N, WARREN J. Big data: principles and best practices of scalable realtime data systems ［M］. Greenwich: Manning Publications, 2012: 1-28.

［22］NoSQL. Wikipedia ［EB/OL］.［2012-04-07］. http://en.wikipedia.org/wiki/NoSQL.

［23］秦秀磊,张文博,魏峻,等.云计算环境下分布式缓存技术的现状与挑战［EB/OL］. ［2012-03-16］. http://www.jos.org.cn/ch/reader/create_pdf.aspx?file_no=4276.

［24］BAIN W L. Distributed, in-memory data grids accelerate map/reduce analysis ［EB/OL］. ［2012-05-08］. http://www.codeproject.com/Articles/378117/Distributed-In-Memory-Data-Grids-Accelerate-Map-Re.

［25］EARLS A. Data grids: foundation for future cloud computing? ［EB/OL］. ［2012-02-03］. http://searchsoa.techtarget.com/news/1518647/Data-Grids-Foundation-for-future-cloud-computing.

［26］GUALTIERI M, RYMER J R. The forrester wave: elastic caching platforms, Q2 2010 ［EB/OL］. ［2011-09-03］. ftp://ftp.boulder.ibm.com/software/solutions/soa/pdfs/wave_elastic_caching_platforms_q2_2010.pdf.

［27］GARCIA-MOLINA H, SALEM K. Main-memory database sys-tems: an overview ［J］. IEEE Transactions on Knowledge and Data Engineering, 1992, 4(6): 509-516.

［28］VMware.VMware和云计算手册［EB/OL］.［2012-02-08］. http://www.vmware.com//files/pdf/cloud/VMware-Cloud-Brochure-CN.pdf.

［29］VMware.弹性内存数据管理产品介绍［EB/OL］. ［2012-02-08］. http://www.vmware.com/files/cn/pdf/vfabric/VMare-vFabric-GemFire-Datasheet.pdf.

[1]	陈家豪, 殷新春. 基于云雾计算的可追踪可撤销密文策略属性基加密方案[J]. 计算机应用, 2021, 41(6): 1611-1620.
[2]	葛丽娜, 胡雨谷, 张桂芬, 陈园园. 云计算环境基于客体属性匹配的逆向混合访问控制方案[J]. 计算机应用, 2021, 41(6): 1604-1610.
[3]	杨翎, 姜春茂. 基于三支决策的虚拟机节能迁移策略[J]. 计算机应用, 2021, 41(4): 990-998.
[4]	孙晓玲, 杨光, 沈焱萍, 杨秋格, 陈涛. 基于可拆分倒排索引的可搜索加密方案[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3288-3294.
[5]	吕佳玉, 竺智荣, 姚志强. 云计算环境下的双通道数据动态加密策略[J]. 计算机应用, 2020, 40(8): 2268-2273.
[6]	陈程军, 毛莺池, 王绎超. 基于激活-熵的分层迭代剪枝策略的CNN模型压缩[J]. 计算机应用, 2020, 40(5): 1260-1265.
[7]	郭曙杰, 李志华, 蔺凯青. 云环境下基于模糊隶属度的虚拟机放置算法[J]. 计算机应用, 2020, 40(5): 1374-1381.
[8]	许英鑫, 孙磊, 赵建成, 郭松辉. 基于蚁群优化算法的虚拟现场可编程门阵列部署策略[J]. 计算机应用, 2020, 40(3): 747-752.
[9]	王庆永, 毛莺池, 王绎超, 王龙宝. 基于多微云协作的计算任务卸载[J]. 计算机应用, 2020, 40(2): 328-334.
[10]	刘福鑫, 李劲巍, 王熠弘, 李琳. 基于Kubernetes的云原生海量数据存储系统设计与实现[J]. 计算机应用, 2020, 40(2): 547-552.
[11]	杨哂哂, 吴慧珍, 庄黎丽, 吕宏武. 基于Markov过程的IaaS系统可用性建模与分析方法[J]. 计算机应用, 2020, 40(10): 3013-3018.
[12]	唐林川, 邓思宇, 吴彦学, 温柳英. 基于pHash分块局部探测的海量图像查重算法[J]. 计算机应用, 2019, 39(9): 2789-2794.
[13]	林立, 熊金波, 肖如良, 林铭炜, 陈秀华. Gaming@Edge:基于边缘节点的低延迟云游戏系统[J]. 计算机应用, 2019, 39(7): 2001-2007.
[14]	徐雅斌, 彭宏恩. 基于需求预测的PaaS平台资源分配方法[J]. 计算机应用, 2019, 39(6): 1583-1588.
[15]	李启锐, 彭志平, 崔得龙, 何杰光. 容器云环境虚拟资源配置策略的优化[J]. 计算机应用, 2019, 39(3): 784-789.

基于GemFire的海量数据计算性能实验分析

Experimental analysis for calculation performance of mass data based on GemFire

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics