基于MapReduce的密度聚类改进算法

• •

基于MapReduce的密度聚类改进算法

邱宁佳¹,李宾¹,王鹏²,杨华民¹,王玮琦³

1. 长春理工大学
2. 长春理工大学南区科技大厦A座1113室
3. 哈尔滨工程大学

收稿日期:2016-11-16 修回日期:2016-12-20 发布日期:2016-12-20
通讯作者: 邱宁佳

Research on a New Density Clustering Algorithm Based on MapReduce

Received:2016-11-16 Revised:2016-12-20 Online:2016-12-20

摘要/Abstract

摘要： 针对DBSCAN算法经验化求解参数和执行效率低的问题，提出了一种基于遗传算法的自适应DBSCAN算法，根据数据集的相似性和差异性对其进行两次规约处理，将数据合理的序列化。针对聚类质量和算法效率问题，通过遗传算法合理规划密集区间阈值minPts、扫描半径Eps大小，并结合MapReduce并行计算编程框架，在Hadoop集群上利用所求得阈值实现并行化聚类。实验结果表明，改进后的算法（GA-DBSCANMR）的执行效率和聚类质量都高于原DBSCAN算法。

关键词: DBSCAN, minPts, Eps, 遗传算法, MapReduce

Abstract: Abstract: To improve the clustering quality and algorithm efficiency,the paper proposes an adaptive DBSCAN algorithm based on genetic algorithm.It can reasonably ensure data serialization by analyzing the similarity and dissimilarity in date set.Firstly we set minPts—the threshold of condensed space,Eps—the size of scanning radius, and parallel programming framework combined with MapReduce,then use the obtained threshold to achieve parallel clustering in a Hadoop cluster. Finally, the experimental results show the improved algorithm (GA-DBSCANMR) has better performance than the original DBSCAN algorithm.

Key words: Keywords: DBSCAN, minPts, Eps, Algorithm of Genetic, MapReduce

中图分类号:

中图分类号:TP391

邱宁佳李宾王鹏杨华民王玮琦. 基于MapReduce的密度聚类改进算法[J]. 计算机应用.

[1]	佘维, 李阳, 钟李红, 孔德锋, 田钊. 基于改进实数编码遗传算法的神经网络超参数优化[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 671-676.
[2]	梁军, 洪泽泓, 余松森. 基于改进粒子群优化算法和遗传变异的图像分割模型[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1743-1749.
[3]	王彬, 向甜, 吕艺东, 王晓帆. 基于NSGA‑Ⅱ的自适应多尺度特征通道分组优化算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1401-1408.
[4]	张敏, 韩晓龙. 多目标模糊机会约束规划的低碳多式联运路径优化[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 636-644.
[5]	薛海蓉, 韩晓龙. 基于改进NSGA-Ⅱ的考虑自动引导车充电策略的集成调度[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3848-3855.
[6]	邓辅秦, 黄焕钊, 谭朝恩, 付兰慧, 张建民, 林天麟. 结合遗传算法和滚动调度的多机器人任务分配算法[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3833-3839.
[7]	范厚明, 牟爽, 岳丽君. 考虑冲突和拥堵的自动导引车调度与路径规划协同优化[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2281-2291.
[8]	刘延飞, 彭征, 王艺辉, 王忠. 基于改进的遗传算法的有刷直流电机PID参数整定[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1634-1641.
[9]	李晓寒, 贾华丁, 程雪, 李太勇. 基于改进遗传算法和图神经网络的股市波动预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1624-1633.
[10]	陈权, 李莉, 陈永乐, 段跃兴. 面向深度学习可解释性的对抗攻击算法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 510-518.
[11]	刘忠慧, 王梓宥, 闵帆. 近似概念的遗传生成算法及其推荐应用[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 412-418.
[12]	张俊杰, 仇润鹤. 认知超密集网络用户关联与资源分配联合优化遗传算法[J]. 《计算机应用》唯一官方网站, 2022, 42(12): 3856-3862.
[13]	高银萍, 苌道方, 陈俊贤. 混堆模式下基于动态规则NSGA Ⅱ的自动堆垛起重机作业优化[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3259-3267.
[14]	徐雪敏, 张秀国, 肖媛元, 曹志英. 基于优化的灰狼算法的大规模Web服务组合[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3162-3169.
[15]	张闻强, 邢征, 杨卫东. 基于多区域采样策略的混合粒子群优化求解多目标柔性作业车间调度问题[J]. 计算机应用, 2021, 41(8): 2249-2257.