基于距离的数据流离群点挖掘算法

计算机应用 ›› 2010, Vol. 30 ›› Issue (11): 2949-2951.

基于距离的数据流离群点挖掘算法

杨显飞¹,张健沛¹,杨静²,初妍³

1. 哈尔滨工程大学
2. 哈尔滨工程大学计算机科学与技术学院
3.

收稿日期:2010-05-05 修回日期:2010-07-07 发布日期:2010-11-05 出版日期:2010-11-01
通讯作者: 杨显飞
基金资助:
基于Mobile Agent的分布式数据挖掘关键技术研究

Algorithm for mining data stream outliers based on distance

Received:2010-05-05 Revised:2010-07-07 Online:2010-11-05 Published:2010-11-01
Contact: Yang XianFei

摘要/Abstract

摘要： 传统的离群点挖掘算法无法有效挖掘数据流中的离群点。针对数据流的无限输入和动态变化等特点,提出一种新的基于距离的数据流离群点挖掘算法。通过Hoeffding定理及独立同分布中心极限定理,对数据流概率分布变化进行动态检测,利用检测结果自适应调整滑动窗口大小对数据流离群点进行挖掘。实验结果表明,该算法在人工数据集和真实数据集KDD-CUP99中可以对数据流中的离群点进行有效挖掘。

关键词: 数据流, 离群点, Hoeffding定理, 滑动窗口

Abstract: The traditional algorithm of mining outliers cannot mine outliers in data stream effectively. Concerning the infinite input and dynamic change in data stream environment, a new algorithm for detecting data stream outliers based on distance was proposed. Change of data stream probability distribution was dynamically detected by Hoeffding theorem and independent identical distribution central limit theorem. Making use of detection outcome to self adaptation, sliding window size was adjusted to mine outliers in data stream. The experimental results show this algorithm can effectively mine data stream outliers in artificial data set and KDD-CUP99 date set.

Key words: data stream, outlier, Hoeffding theorem, sliding window

杨显飞张健沛杨静初妍. 基于距离的数据流离群点挖掘算法[J]. 计算机应用, 2010, 30(11): 2949-2951.

[1]	张明, 付乐, 王海峰. 面向边缘计算的并发数据流接转控制模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3876-3883.
[2]	穆栋梁, 韩萌, 李昂, 刘淑娟, 高智慧. 概念漂移复杂数据流分类方法综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1664-1675.
[3]	张忠平, 郭鑫, 张玉停, 张睿博. 基于全息图平稳分布因子的离群点检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1705-1712.
[4]	陈志强, 韩萌, 武红鑫, 李慕航, 张喜龙. 分段加权的概念漂移检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 776-784.
[5]	陈虎, 周鹏灵. 面向国产高性能众核处理器的编程模型[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3517-3526.
[6]	郭一阳, 于炯, 杜旭升, 杨少智, 曹铭. 基于自编码器与集成学习的离群点检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2078-2087.
[7]	王乐, 韩萌, 李小娟, 张妮, 程浩东. 基于动态加权函数的集成分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1137-1147.
[8]	李小娟, 韩萌, 王乐, 张妮, 程浩东. 基于准确率爬坡的动态加权集成分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 123-131.
[9]	单芝慧, 韩萌, 韩强. 动态数据上的高效用模式挖掘综述[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 94-108.
[10]	景兴红, 孙国栋, 何世彪, 廖勇. 基于滑窗滤波和多项式拟合的时变信道估计方法[J]. 计算机应用, 2021, 41(9): 2699-2704.
[11]	尹春勇, 张帼杰. 面向分布式漂移数据流的集成分类模型[J]. 计算机应用, 2021, 41(7): 1947-1955.
[12]	郭帅, 苏旸. 基于数据流的加密流量分类方法[J]. 计算机应用, 2021, 41(5): 1386-1391.
[13]	宁进, 陈雷霆, 罗子娟, 周川, 曾慧茹. 离群点检测算法的评价指标[J]. 计算机应用, 2020, 40(9): 2622-2627.
[14]	樊仲欣. 基于数据流的聚类趋势分析算法[J]. 计算机应用, 2020, 40(8): 2248-2254.
[15]	孙建军, 徐岩. 基于加权改进模糊C均值聚类的欠定混合矩阵估计[J]. 计算机应用, 2020, 40(6): 1769-1773.