栏目文章信息

大数据与云计算及其应用 栏目所有文章列表 (按年度、期号倒序)     一年内发表的文章 |  两年内 |  三年内 |  全部 Please wait a minute... 选择: 导出引用 EndNote Ris BibTeX 显示/隐藏图片 Select 1. 云计算虚拟化技术的发展与趋势 武志学 计算机应用    2017, 37 (4): 915-923.   DOI: 10.11772/j.issn.1001-9081.2017.04.0915 摘要 （1564）      PDF （1633KB）（2063）    可视化    收藏 云计算是一种融合了多项计算机技术的以数据和处理能力为中心的密集型计算模式，其中以虚拟化、分布式数据存储、分布式并发编程模型、大规模数据管理和分布式资源管理技术最为关键。经过十多年的发展，云计算技术已经从发展培育期步入快速成长期，越来越多的企业已经开始使用云计算服务。与此同时，云计算的核心技术也在发生着巨大的变化，新一代的技术正在改进甚至取代前一代技术。容器虚拟化技术以其轻便、灵活和快速部署等特性对传统的基于虚拟机的虚拟化技术带来了颠覆性的挑战，正在改变着基础设施即服务（IaaS）平台和平台即服务（PaaS）平台的架构和实现。对容器虚拟化技术进行深入介绍，并通过分析和比较阐述容器虚拟化技术和虚拟机虚拟化技术各自的优势、适应场景和亟待解决的问题，然后对云计算虚拟化技术的下一步研究方向和发展趋势进行展望。 参考文献 | 相关文章 | 多维度评价 Select 2. 级联式低消耗大规模网页分类在线获取方法 王亚强, 汤铭, 曾沁, 唐聃, 舒红平 计算机应用    2017, 37 (4): 924-927.   DOI: 10.11772/j.issn.1001-9081.2017.04.0924 摘要 （534）      PDF （847KB）（533）    可视化    收藏 针对海量网页在线自动高效获取网页分类系统设计中如何更有效地平衡准确度与资源开销之间的矛盾问题，提出一种基于级联式分类器的网页分类方法。该方法利用级联策略，将在线与离线网页分类方法结合，各取所长。级联分类系统的一级分类采用在线分类方法，仅利用锚文本中网页标题包含的特征预测其分类，同时计算分类结果的置信度，分类结果的置信度由分类后验概率分布的信息熵度量。若置信度高于阈值（该阈值采用多目标粒子群优化算法预先计算取得），则触发二级分类器。二级分类器从下载的网页正文中提取特征，利用预先基于网页正文特征训练的分类器进行离线分类。结果表明，相对于单独的在线法和离线法，级联分类系统的 F1值分别提升了10.85%和4.57%，并且级联分类系统的效率比在线法未降低很多（30%左右），而比离线法的效率提升了约70%。级联式分类系统不仅具有更高的分类能力，而且显著地减少了分类的计算开销与带宽消耗。 参考文献 | 相关文章 | 多维度评价 Select 3. 基于Spark Streaming的实时能耗分项计量系统 武志学 计算机应用    2017, 37 (4): 928-935.   DOI: 10.11772/j.issn.1001-9081.2017.04.0928 摘要 （778）      PDF （1408KB）（622）    可视化    收藏 能耗分项计量能够准确、及时、有效地发现能源使用问题，形成和实现最有效的节能措施。能耗分项计量系统需要对各项能源使用量在不同粒度上进行统计，既有实时性的需求，又需要涉及到聚合、去重、连接等较为复杂的统计需求。由于数据产生快、实时性强、数据量大，所以很难统一采集并入库存储后再作处理，这便导致传统的数据处理架构不能满足需求。为此，提出基于Spark Streaming大数据流式技术构建一个实时能耗分项计量系统，对实时能耗分项计量的系统架构和内部结构进行了详细介绍，并通过实验数据分析了系统的实时数据处理能力。与传统架构不同，实时能耗分项计量系统在数据流动的过程中实时地进行捕捉和处理，一方面把捕捉到的异常信息及时报警到前端，同时把分类分项统计处理的结果保存到数据库，以便进行离线分析和数据挖掘，能有效地解决上述数据处理过程中遇到的问题。 参考文献 | 相关文章 | 多维度评价 Select 4. 基于多斜率码链的阵列纠删码 唐聃, 杨昊澎, 王福超 计算机应用    2017, 37 (4): 936-940.   DOI: 10.11772/j.issn.1001-9081.2017.04.0936 摘要 （700）      PDF （854KB）（472）    可视化    收藏 针对当前大多阵列纠删码容错能力偏低以及构造时需要满足的约束条件较强的问题，提出一类基于码链构造的阵列纠删码。该阵列纠删码使用不同斜率码链组织数据元素和校验元素间的关系，从而能达到理论上不受限制的容错能力；而在构造时避开了类似素数约束的强约束条件，易于实用和扩展。仿真实验结果表明，相对于RS（Reed-Solomon）码，基于多斜率码链阵列纠删码在运算效率上的提升超过了2个数量级；在固定的容错能力下，存储效率能随着条块尺寸的增加而提高。此外，该类阵列码的修复代价和更新代价为一个固定常量，不会随着系统规模的扩大或容错能力的提高而增加。 参考文献 | 相关文章 | 多维度评价 Select 5. 基于分布式计算框架的风暴三维追踪方法 曾沁, 李永生 计算机应用    2017, 37 (4): 941-944.   DOI: 10.11772/j.issn.1001-9081.2017.04.0941 摘要 （603）      PDF （706KB）（506）    可视化    收藏 气象数据的增长规模已达到每小时TB级，这使得传统基于关系型数据库和文件存储系统在海量数据存储与管理方面捉襟见肘，进而使得基于大规模异构气象数据的应用无法规模化，同时，也无法满足科研人员对海量气象数据高效探索的需要。为解决这一系列问题，研究者分别基于MapReduce、HBase等分布式框架下的分布式计算和存储技术，尝试为海量气象数据的探索提供有效技术手段，然而，综合性的研究据了解还未开展。因此，利用近年来积累的海量多普勒天气雷达数据，开展了基于MapReduce和HBase相结合的风暴三维追踪方法的研究，并基于传统Rest标准化接口实现了雷达资料的点、线、面、体的多种分布式服务接口，与传统的Rest标准化单机数据存储和访问接口的性能相比，所实现方法在性能方面有100%的效率提升。最后，以2007年至2009年珠江三角洲地区三年雷达数据的风暴追踪回算为例，进一步验证了所提方法在计算和存储管理方面的性能优势。 参考文献 | 相关文章 | 多维度评价