基于Hadoop的大矩阵乘法处理方法

计算机应用 ›› 2013, Vol. 33 ›› Issue (12): 3339-3344.

• 2013年全国开放式分布与并行计算学术年会（DPCS2013）论文 • 上一篇下一篇

基于Hadoop的大矩阵乘法处理方法

孙远帅¹,陈垚¹,官新均¹,林琛¹,²

1. 厦门大学信息科学与技术学院，福建厦门 361005；
2. 厦门大学深圳研究院，广东深圳 518000

收稿日期:2013-07-11 出版日期:2013-12-01 发布日期:2013-12-31
通讯作者: 林琛
作者简介:孙远帅(1989-),男,河南濮阳人,硕士研究生,主要研究方向: Web数据挖掘、矩阵分解算法、大规模数据处理;
陈垚(1992-), 男,安徽宣城人,主要研究方向:生物信息学;
官新均(1992-),男,广东深圳人,主要研究方向:实体匹配;
林琛(1982-),女,福建厦门人,助理教授,博士,CCF会员,主要研究方向:Web数据检索、数据挖掘和管理。
基金资助:
国家自然科学基金资助项目;国家自然科学基金资助项目;深圳市战略性新兴产业发展专项资金资助项目

Approach of large matrix multiplication based on Hadoop

SHUN Yuanshuai¹,CHEN Yao¹,GUAN Xinjun¹,LIN Chen¹,²

1. School of Information Science and Engineering, Xiamen University, Xiamen Fujian 361005, China
2. Shenzhen Research Institute of Xiamen University, Shenzhen Guangdong 518000, China

Received:2013-07-11 Online:2013-12-31 Published:2013-12-01
Contact: LIN Chen
Supported by:
National Natural Science Foundation;National Natural Science Foundation

摘要/Abstract

摘要： 目前的矩阵乘法算法无法处理大规模和超大规模的矩阵,而随着MapReduce编程框架的提出，并行处理矩阵乘法成为解决大矩阵运算的主要手段。总结了矩阵乘法在MapReduce编程模型上的并行实现方法，并提出了实现高性能大矩阵乘法的策略——折中单个工作节点的计算量和需要网络传输的数据量。实验证明，并行实现算法在大矩阵上明显优于传统的单机算法，而且随着集群中节点数目的增多，并行算法会表现出更好的性能。

关键词: 大矩阵, 矩阵乘法, 矩阵运算, MapReduce, Hadoop, 并行计算, 海量数据

Abstract: Large and very large matrix cannot be dealt by current matrix multiplication algorithms. With the development of MapReduce programming frame, parallel programs have become the main approaches for matrix computing. The matrix multiplication algorithms based on MapReduce were summarized, and an improved strategy for large matrix was proposed, which had a tradeoff in the data volume between the computation on single work node and the network transmission. The experimental results prove that the parallel algorithms outperform the traditional ones on the large matrix, and the performance will improve with the increase of the clusters.

Key words: large matrix, matrix multiplication, matrix computation, MapReduce, Hadoop, concurrent computation, massive data

中图分类号:

TP391
TP311

孙远帅陈垚官新均林琛. 基于Hadoop的大矩阵乘法处理方法[J]. 计算机应用, 2013, 33(12): 3339-3344.

SHUN Yuanshuai CHEN Yao GUAN Xinjun LIN Chen. Approach of large matrix multiplication based on Hadoop[J]. Journal of Computer Applications, 2013, 33(12): 3339-3344.

[1]	解文博, 韦永壮, 刘争红. 基于CUDA的SKINNY加密算法并行实现与分析[J]. 计算机应用, 2021, 41(4): 1136-1141.
[2]	杨先凤, 贵红军, 傅春常. 统一计算设备架构下的F-X域预测滤波并行算法[J]. 计算机应用, 2021, 41(2): 486-491.
[3]	曾志阳, 陈燕, 王珂. 圆片下料并行遗传算法的设计与实现[J]. 计算机应用, 2020, 40(2): 392-397.
[4]	董聪, 张晓, 程文迪, 石佳. 基于新型存储器件的分布式文件系统性能优化[J]. 计算机应用, 2020, 40(12): 3594-3603.
[5]	崔艺馨, 陈晓东. Spark框架优化的大规模谱聚类并行算法[J]. 计算机应用, 2020, 40(1): 168-172.
[6]	唐林川, 邓思宇, 吴彦学, 温柳英. 基于pHash分块局部探测的海量图像查重算法[J]. 计算机应用, 2019, 39(9): 2789-2794.
[7]	何希, 吴炎桃, 邸臻炜, 陈佳. 基于图形处理器的形态学重建系统[J]. 计算机应用, 2019, 39(7): 2008-2013.
[8]	李耘书, 滕飞, 李天瑞. 基于微操作的Hadoop参数自动调优方法[J]. 计算机应用, 2019, 39(6): 1589-1594.
[9]	沙宗轩, 薛菲, 朱杰. 基于并行强化学习的云机器人任务调度策略[J]. 计算机应用, 2019, 39(2): 501-508.
[10]	冯凯, 李婧. k元n方体的可靠性评估[J]. 计算机应用, 2019, 39(11): 3323-3327.
[11]	郭方方, 潮洛蒙, 朱建文. 基于相似连接的多源数据并行预处理方法[J]. 计算机应用, 2019, 39(1): 57-60.
[12]	郑振涛, 赵卓峰, 王桂玲, 徐垚. 面向港口停留区域识别的船舶停留轨迹提取方法[J]. 计算机应用, 2019, 39(1): 113-117.
[13]	付朝江, 王天奇, 林悦荣. 基于有效并行求解策略的显式有限元分析并行算法[J]. 计算机应用, 2018, 38(4): 1072-1077.
[14]	曹云鹏, 王海峰. 面向MapReduce计算模式的中间数据通信优化[J]. 计算机应用, 2018, 38(4): 1078-1083.
[15]	马友忠, 张智辉, 林春杰. 大数据相似性连接查询技术研究进展[J]. 计算机应用, 2018, 38(4): 978-986.

基于Hadoop的大矩阵乘法处理方法

Approach of large matrix multiplication based on Hadoop

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics