基于MapReduce的文本层次聚类并行化

doi:10.11772/j.issn.1001-9081.2014.06.1595

计算机应用 ›› 2014, Vol. 34 ›› Issue (6): 1595-1599.DOI: 10.11772/j.issn.1001-9081.2014.06.1595

基于MapReduce的文本层次聚类并行化

余晓山,吴扬扬

华侨大学计算机科学与技术学院,福建厦门 361021

收稿日期:2013-11-12 修回日期:2013-12-30 发布日期:2014-07-02 出版日期:2014-06-01
通讯作者: 吴扬扬
作者简介:余晓山(1989-),男,福建泉州人,硕士研究生,CCF会员,主要研究方向:文本挖掘;吴扬扬(1957-),女,福建泉州人,教授,CCF会员,主要研究方向:数据库、数据挖掘。
基金资助:
福建省科技计划重大项目;福建省科技计划重点项目

Parallel text hierarchical clustering based on MapReduce

YU Xiaoshan,WU Yangyang

School of Computer Science and Technology, Huaqiao University, Xiamen Fujian 361021, China

Received:2013-11-12 Revised:2013-12-30 Online:2014-07-02 Published:2014-06-01
Contact: WU Yangyang
Supported by:
Science and Technology Program Key Project of Fujian Province of China

摘要/Abstract

摘要：

针对传统的层次聚类算法在处理大规模文本时可扩展性不足的问题,提出基于MapReduce编程模型的并行化文本层次聚类算法。将基于文本向量分量组特征统计的垂直数据划分算法应用于MapReduce的数据分发,将MapReduce的排序特性应用于合并点的选择,使得算法更加高效,同时有利于提高聚类精度。实验结果表明了利用该算法进行大规模文本聚类的有效性及良好的可扩展性。

Abstract:

Concerning the deficiency in scalability of the traditional hierarchical clustering algorithm when dealing with large-scale text, a parallel hierarchical clustering algorithm based on the MapReduce programming model was proposed. The vertical data partitioning algorithm based on the statistical characteristic of the components group of text vector was developed for data partitioning in MapReduce. Additionally, the sorting characteristics of the MapReduce were applied to select the merge points, making the algorithm be more efficient and conducive to improve clustering accuracy. The experimental results show that the proposed algorithm is effective and has good scalability.

中图分类号:

TP391.1

余晓山吴扬扬. 基于MapReduce的文本层次聚类并行化[J]. 计算机应用, 2014, 34(6): 1595-1599.

YU Xiaoshan WU Yangyang. Parallel text hierarchical clustering based on MapReduce[J]. Journal of Computer Applications, 2014, 34(6): 1595-1599.

参考文献

[1]DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters [J]. Communications of the ACM, 2008,51(1):107-113.
[2]Apache. PoweredBy [EB/OL]. [2013-10-09]. http://wiki.apache.org/hadoop/PoweredBy.
[3]ZHAO W, MA H, FU Y, et al. Research on parallel K-means algorithm design based on Hadoop platform [J]. Computer Science, 2011,38(10):166-168. (赵卫中,马慧芳,傅燕翔,等.基于云计算平台Hadoop的并行K-means聚类算法设计研究[J].计算机科学,2011,38(10):166-168.)
[4]JIANG X, LI C, XIANG W, et al. Parallel implementing K-means clustering algorithm using MapReduce programming mode [J]. Journal of Huazhong University of Science and Technology: Natural Science, 2011,39(S1):120-124.(江小平,李成华,向文,等.K-means聚类算法的MapReduce并行化实现 [J].华中科技大学学报:自然科学版,2011,39(S1):120-124.)
[5]ZHANG S, WU Z. Clustering algorithm optimization research based on Hadoop [J]. Computer Science, 2012, 39(S2): 115-118. (张石磊,武装.一种基于Hadoop云计算平台的聚类算法优化的研究[J].计算机科学,2012,39(S2):115-118.)
[6]MAO D. Improved Canopy-Kmeans algorithm based on MapReduce [J]. Computer Engineering and Applications, 2012,48(27):22-26. (毛典辉.基于MapReduce的Canopy-Kmeans改进算法[J].计算机工程与应用,2012,48(27):22-26.)
[7]YIN J, WANG L. Parallel K-means optimized by vertical dataset division [J]. Computer Engineering and Applications, 2010,46(15):127-131.(尹建君,王乐.数据划分优化的并行K-means算法[J].计算机工程与应用,2010,46(15):127-131.)
[8]OLSON C F. Parallel algorithms for hierarchical clustering [J]. Parallel Computing, 1995,21(8):1313-1325.
[9]RAJASEKARAN S. Efficient parallel hierarchical clustering algorithms [J]. IEEE Transactions on Parallel and Distributed Systems, 2005,16(6):497-502.
[10]QU N. The distributed hits algorithm in social network analysis tool [D]. Beijing: Beijing University of Posts and Telecommunications, 2011.(渠娜.社会网络分析工具中的分布式超链接检索算法[D].北京:北京邮电大学,2011.)
[11]HAN J, KAMBER M. Data mining: concepts and techniques [M]. 2nd ed. San Francisco: Morgan Kaufmann, 2006.
[12]WHITE T. Hadoop: the definitive guide [M]. 3rd ed. Sebastopol: O'Reilly Media, 2012.

[1]	张庆杨凡方宇涵. 基于多模态信息融合的中文拼写纠错算法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[2]	高颖杰, 林民, 斯日古楞null, 李斌, 张树钧. 基于片段抽取原型网络的古籍文本断句标点提示学习方法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3815-3822.
[3]	王猛张大千周冰艳马倩影吕继东. 基于时序知识图谱补全的CTCS-3级列控车载接口设备故障诊断方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[4]	杨青朱焱. 改进语言规则中的表示的隐喻识别技术[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[5]	余婧陈艳平扈应黄瑞章秦永彬. 结合实体边界偏移的序列标注优化方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[6]	张伟牛家祥马继超沈琼霞. 深层语义特征增强的ReLM中文拼写纠错模型[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[7]	徐章杰陈艳平扈应黄瑞章秦永彬. 联合边界生成的多目标学习嵌套命名实体识别[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[8]	代震龙韩萌杨文艳朱诗能杨书蓉. 序列模式挖掘综述[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[9]	徐乐黄瑞章白瑞娜秦永彬. 基于意图正则化的深度半监督文本聚类[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[10]	彭一峰朱焱. 结合预处理方法和对抗学习的公平链接预测[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[11]	赵彪秦玉华田荣坤胡月航陈芳锐. 依赖类型及距离增强的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[12]	任登燃王淑营. 基于差分边界增强的风电装备嵌套实体识别模型[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[13]	田海燕黄赛豪张栋李寿山. 视觉指导的分词和词性标注[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[14]	帅健王中卿陈嘉沥. 基于代码生成的细粒度情感分析方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[15]	姜雨杉, 张仰森. 大语言模型驱动的立场感知事实核查[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3067-3073.

基于MapReduce的文本层次聚类并行化

Parallel text hierarchical clustering based on MapReduce

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics