基于交叠数据窗距离测度概念漂移检测新方法

计算机应用 ›› 2014, Vol. 34 ›› Issue (2): 542-545.

基于交叠数据窗距离测度概念漂移检测新方法

刘茂,张东波,赵圆圆

湘潭大学信息工程学院,湖南湘潭 411105

收稿日期:2013-07-17 修回日期:2013-09-06 发布日期:2014-03-01 出版日期:2014-02-01
通讯作者: 刘茂
作者简介:刘茂(1987-),男,湖南永州人,硕士研究生,主要研究方向:概念漂移、集成学习;张东波(1973-),湖南隆回人,教授,博士,主要研究方向:模式识别、图像处理、集成学习、智能信息处理;赵圆圆(1988-),女,湖南邵阳人,硕士研究生,主要研究方向:模式识别、图像处理。
基金资助:
国家自然科学基金资助项目;湖南省教育厅资助科研项目

Concept drift detection based on distance measurement of overlapped data windows

LIU Mao,ZHANG Dongbo,ZHAO Yuanyuan

College of Information Engineering, Xiangtan University, Xiangtan Hunan 411105, China

Received:2013-07-17 Revised:2013-09-06 Online:2014-03-01 Published:2014-02-01
Contact: LIU Mao

摘要/Abstract

摘要： 针对数据流中的概念漂移检测存在错误检测、延迟检测等问题,提出了一种基于交叠数据窗距离测度的在线概念漂移检测方法。通过将数据流划分成大小相等且交叠的数据窗并计算相邻交叠数据窗异构欧氏距离,同时利用近邻原则判别数据窗中样本不一致程度,从而实现分布差异性评价和漂移的检测。为评价该方法的有效性,在具有不同漂移严重程度和漂移速度的公开数据集上进行了实验,实验结果表明:该方法能够准确快速地检测到不同类型的概念漂移且能够找出概念漂移发生的具体位置。

关键词: 概念漂移, 数据流, 异构欧氏距离, 交叠数据窗

Abstract: To solve the false detection and detection delay of concept drift for data stream, a new online concept drift detection method based on the distance measurement of overlapped data windows was proposed in this paper. By dividing the data stream into overlapped data windows and computing the heterogeneous Euclidean distance of neighboring windows, and measuring the inconsistency of the data windows through the nearest neighbor principle, the authors could achieve the evaluation of distribution diversity and the detection of concept drift. To evaluate the effectiveness of the proposed method, experiments were made on some public data sets with different drift severity and drift speed. The experimental results show that the proposed method can detect different types of concept drift quickly and accurately and can figure out the locations where concept drift appeared. Key words: concept drift; data stream; heterogeneous Euclidean distance; overlap data windows

Key words: concept drift, data stream, heterogeneous Euclidean distance, overlap data window

中图分类号:

TP18 人工智能理论

刘茂张东波赵圆圆. 基于交叠数据窗距离测度概念漂移检测新方法[J]. 计算机应用, 2014, 34(2): 542-545.

LIU Mao ZHANG Dongbo ZHAO Yuanyuan. Concept drift detection based on distance measurement of overlapped data windows[J]. Journal of Computer Applications, 2014, 34(2): 542-545.

[1]	张明, 付乐, 王海峰. 面向边缘计算的并发数据流接转控制模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3876-3883.
[2]	黄华, 杨子仪, 李小龙, 李闯. 基于概念漂移的预测性业务流程监控方法[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3167-3176.
[3]	穆栋梁, 韩萌, 李昂, 刘淑娟, 高智慧. 概念漂移复杂数据流分类方法综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1664-1675.
[4]	陈志强, 韩萌, 武红鑫, 李慕航, 张喜龙. 分段加权的概念漂移检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 776-784.
[5]	陈虎, 周鹏灵. 面向国产高性能众核处理器的编程模型[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3517-3526.
[6]	王乐, 韩萌, 李小娟, 张妮, 程浩东. 基于动态加权函数的集成分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1137-1147.
[7]	李小娟, 韩萌, 王乐, 张妮, 程浩东. 基于准确率爬坡的动态加权集成分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 123-131.
[8]	单芝慧, 韩萌, 韩强. 动态数据上的高效用模式挖掘综述[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 94-108.
[9]	尹春勇, 张帼杰. 面向分布式漂移数据流的集成分类模型[J]. 计算机应用, 2021, 41(7): 1947-1955.
[10]	郭帅, 苏旸. 基于数据流的加密流量分类方法[J]. 计算机应用, 2021, 41(5): 1386-1391.
[11]	樊仲欣. 基于数据流的聚类趋势分析算法[J]. 计算机应用, 2020, 40(8): 2248-2254.
[12]	白东颖, 易亚星, 王庆超, 余志勇. 面向概念漂移问题的渐进多核学习方法[J]. 计算机应用, 2019, 39(9): 2494-2498.
[13]	苏振宇, 宋桂香, 刘雁鸣, 赵媛. 服务器管理控制系统威胁建模与应用[J]. 计算机应用, 2019, 39(7): 1991-1996.
[14]	龚鸣清, 叶煌, 张鉴, 卢兴敬, 陈伟. 基于ARMv8架构的面向机器翻译的单精度浮点通用矩阵乘法优化[J]. 计算机应用, 2019, 39(6): 1557-1562.
[15]	孙小涓, 石涛, 胡玉新, 佟继周, 李冰, 宋峣. 基于流式计算的空间科学卫星数据实时处理[J]. 计算机应用, 2019, 39(6): 1563-1568.