利用并行GPU对分层分布式狄利克雷分布算法加速

计算机应用 ›› 2013, Vol. 33 ›› Issue (12): 3313-3316.

• 2013年全国开放式分布与并行计算学术年会（DPCS2013）论文 • 下一篇

利用并行GPU对分层分布式狄利克雷分布算法加速

温腊¹,²,芮建武²,何婷婷¹,²,郭亮²

1. 中国科学院大学，北京 100190
2. 中国科学院软件研究所基础软件国家工程研究中心，北京 100190；

收稿日期:2013-07-16 出版日期:2013-12-01 发布日期:2013-12-31
通讯作者: 温腊
作者简介:温腊(1986-),女,河北保定人,硕士研究生,主要研究方向:分布式并行计算;
芮建武(1972-),男,云南祥云人,高级工程师,博士,CCF会员,主要研究方向:操作系统、分布式并行计算、中文信息处理;
何婷婷(1989-),女,四川攀枝花人,硕士研究生,主要研究方向:分布式并行计算;
郭亮(1976-),男,江西吉安人,高级工程师,博士,主要研究方向:嵌入式软件、编译技术。
基金资助:
国家科技支撑计划项目;国家科技支撑计划项目;中国科学院知识创新工程重要方向项目;新闻出版重大科技工程项目

Accelerating hierarchical distributed latent Dirichlet allocation algorithm by parallel GPU

WEN La¹,²,RUI Jianwu¹,HE Tingting¹,²,GUO Liang¹

1. National Engineering Research Center of Fundamental Software, Institute of Software, Chinese Academy of Sciences, Beijing 100190, China
2. University of Chinese Academy of Sciences, Beijing 100190, China

Received:2013-07-16 Online:2013-12-31 Published:2013-12-01
Contact: WEN La

摘要/Abstract

摘要： 分层分布式狄利克雷分布(HD-LDA)算法是一个对潜在狄利克雷分布(LDA)进行改进的基于概率增长模型的文本分类算法，与只能在单机上运行的LDA算法相比，可以运行在分布式框架下，进行分布式并行处理。Mahout在Hadoop框架下实现了HD-LDA算法，但是因为单节点算法的计算量大，仍然存在对大数据分类运行时间太长的问题。而大规模文本集合分散到多个节点上迭代推导，单个节点上文档集合的推导仍是顺序进行的，所以处理大规模文本集合时仍然需要很长时间才能完成全部文本的分类。为此，提出将Hadoop与图形处理器(GPU)相结合，将单节点文本集合的推导过程转移到GPU上运行，实现单节点多个文档并行推导，利用多台并行的GPU对HD-LDA算法进行加速。应用结果表明，使用该方法能使分布式框架下的HD-LDA算法对大规模文本集合处理达到7倍的加速比。

关键词: 分层分布式狄利克雷分布, 潜在狄利克雷分布, 文本分类, 分布式框架, 并行图形处理器

Abstract: Hierarchical Distributed Latent Dirichlet Allocation (HD-LDA), a popular topic modeling technique for exploring collections, is an improved Latent Dirichlet Allocation (LDA) algorithm running in distributed environment. Mahout has realized HD-LDA algorithm in the framework of Hadoop. However the algorithm processed the whole documents of a single node in sequence, and the execution time of the HD-LDA program was very long when processing a large amount of documents. A new method was proposed to combine Hadoop with Graphic Processing Unit (GPU) to solve the above problem when transferring the computation from CPU to GPU. The application results show that combining the Hadoop with GPU which processes many documents in parallel can decrease the execution time of HD-LDA program greatly and achieve seven times speedup.

Key words: Hierarchical Distributed Latent Dirichlet Allocation (HD-LDA), Latent Dirichlet Allocation (LDA), text classification, distributed environment, parallel Graphic Processing Unit (GPU)

中图分类号:

TP311

温腊芮建武何婷婷郭亮. 利用并行GPU对分层分布式狄利克雷分布算法加速[J]. 计算机应用, 2013, 33(12): 3313-3316.

WEN La RUI Jianwu HE Tingting GUO Liang. Accelerating hierarchical distributed latent Dirichlet allocation algorithm by parallel GPU[J]. Journal of Computer Applications, 2013, 33(12): 3313-3316.

[1]	张洋, 江铭虎. 基于注意力机制的文本作者识别[J]. 计算机应用, 2021, 41(7): 1897-1901.
[2]	邹志文, 秦程. 基于k-means++的动态构建空间主题R树方法[J]. 计算机应用, 2021, 41(3): 733-737.
[3]	温超东, 曾诚, 任俊伟, 张. 结合ALBERT和双向门控循环单元的专利文本分类[J]. 计算机应用, 2021, 41(2): 407-412.
[4]	张阳, 王小宁. 基于Word2Vec词嵌入和高维生物基因选择遗传算法的文本特征选择方法[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3151-3155.
[5]	尹春勇, 何苗. 基于改进胶囊网络的文本分类[J]. 计算机应用, 2020, 40(9): 2525-2530.
[6]	廖胜兰, 殷实, 陈小平, 张波, 欧阳昱, 张衡. 面向电力业务对话系统的意图识别数据集[J]. 计算机应用, 2020, 40(9): 2549-2554.
[7]	王敏蕊, 高曙, 袁自勇, 袁蕾. 基于动态路由序列生成模型的多标签文本分类方法[J]. 计算机应用, 2020, 40(7): 1884-1890.
[8]	李鸣, 郭晨皓, 陈星. 视觉类深度神经网络的自动标注[J]. 计算机应用, 2020, 40(6): 1593-1600.
[9]	王留洋, 俞扬信, 陈伯伦, 章慧. 基于共识和分类改善文档聚类的识别信息方法[J]. 计算机应用, 2020, 40(4): 1069-1073.
[10]	张小川, 戴旭尧, 刘璐, 冯天硕. 融合多头自注意力机制的中文短文本分类模型[J]. 计算机应用, 2020, 40(12): 3485-3489.
[11]	马建刚, 马应龙. 语义驱动的司法文档学习分类方法[J]. 计算机应用, 2019, 39(6): 1696-1700.
[12]	马建刚, 张鹏, 马应龙. 基于知识块摘要和词转移距离的高效司法文档分类[J]. 计算机应用, 2019, 39(5): 1293-1298.
[13]	邱宁佳, 丛琳, 周思丞, 王鹏, 李岩芳. 结合改进主动学习的SVD-CNN弹幕文本分类算法[J]. 计算机应用, 2019, 39(3): 644-650.
[14]	杨飞, 罗建桥, 李柏林. 结合全局和局部约束的sLDA铁路扣件分类模型[J]. 计算机应用, 2019, 39(3): 888-893.
[15]	唐小川, 邱曦伟, 罗亮. 基于交互作用的文本分类特征选择算法[J]. 计算机应用, 2018, 38(7): 1857-1861.

利用并行GPU对分层分布式狄利克雷分布算法加速

Accelerating hierarchical distributed latent Dirichlet allocation algorithm by parallel GPU

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics