面向不完备混合数据的模糊多粒度异常检测

doi:10.11772/j.issn.1001-9081.2023101419

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (10): 3097-3104.DOI: 10.11772/j.issn.1001-9081.2023101419

面向不完备混合数据的模糊多粒度异常检测

唐宇皓, 彭德中, 袁钟()

四川大学计算机学院，成都 610065

收稿日期:2023-10-20 修回日期:2024-01-20 接受日期:2024-01-26 发布日期:2024-10-15 出版日期:2024-10-10
通讯作者: 袁钟
作者简介:唐宇皓（1999—），男，重庆人，硕士研究生，主要研究方向：异常检测
彭德中（1975—），男，四川成都人，教授，博士，CCF会员，主要研究方向：人工智能
袁钟（1991—），男，四川乐山人，副研究员，博士，CCF会员，主要研究方向：异常检测 yuanzhong@scu.edu.cn。
基金资助:
国家自然科学基金资助项目(62306196);四川省科技计划项目(2023YFQ0020);中央高校基本科研业务费专项资金资助项目(YJ202245)

Fuzzy multi-granularity anomaly detection for incomplete mixed data

Yuhao TANG, Dezhong PENG, Zhong YUAN()

College of Computer Science，Sichuan University，Chengdu Sichuan 610065，China

Received:2023-10-20 Revised:2024-01-20 Accepted:2024-01-26 Online:2024-10-15 Published:2024-10-10
Contact: Zhong YUAN
About author:TANG Yuhao， born in 1999， M. S. candidate. His research interests include anomaly detection.
PENG Dezhong， born in 1975， Ph. D.， professor. His research interests include artificial intelligence.
Supported by:
National Natural Science Foundation of China(62306196);Sichuan Provincial Science and Technology Plan Project(2023YFQ0020);Fundamental Research Funds for Central Universities(YJ202245)

摘要/Abstract

摘要：

针对现有的异常检测方法大多无法有效处理不完备混合数据的问题，提出一种面向不完备混合数据的模糊多粒度异常检测算法ADFIIS（Anomaly Detection in Fuzzy Incomplete Information System），所提算法考虑在标称属性和在数值属性上出现缺失值的情况，能处理混合属性数据。首先，定义属性之间的模糊相似度；其次，计算每个属性的模糊熵，基于熵的大小使用多粒度的思想构建多个属性序列；再次，计算每个样本的异常值以表征它的异常程度；最后，设计相应的ADFIIS算法并分析它的复杂度。在公开数据集上进行实验，将所提算法与ILGNI（Incomplete Local and Global Neighborhood Information network）等主流离群点检测算法对比。实验结果表明，ADFIIS在不完备混合数据集上的受试者操作特征（ROC）曲线效果更好。ADFIIS的曲线下面积（AUC）的平均值优于90%的对比方法，相较于同样能够处理不完备混合数据的ILGNI，它的AUC平均值提升了7个百分点。所提算法使用模型扩展法在不改变原始数据集的情况下对不完备数据集进行异常检测，拓展了异常检测的适用范围。

关键词: 模糊粗糙集, 多粒度, 异常检测, 离群检测, 不完备混合数据

Abstract:

In view of the inadequacy problem of most existing anomaly detection methods in effectively handling incomplete mixed data， a fuzzy multi-granularity anomaly detection algorithm for incomplete mixed data ADFIIS （Anomaly Detection in Fuzzy Incomplete Information System） was designed， which took into account the presence of missing values in both nominal and numeric attributes，and could handle mixed attribute data. The fuzzy similarity between attributes was defined and then the fuzzy entropy of each attribute was calculated. Based on the entropy values， a multi-granularity approach was employed to construct multiple attribute sequences. Subsequently，the outliers of each sample were calculated to characterize its degree of anomaly. Finally， the corresponding ADFIIS algorithm was designed， and its complexity was analyzed. Experiments were conducted on publicly available datasets， and the proposed algorithm was compared with some mainstream outlier detection algorithms such as ILGNI （Incomplete Local and Global Neighborhood Information network）. Experimental results show that ADFIIS has better Receiver Operating Characteristic （ROC） curve performance on incomplete mixed datasets. On average， the Area Under the ROC Curve （AUC） of ADFIIS is better than 90% of the comparison methods. Compared with ILGNI， which can also handle incomplete mixed data， the average AUC of ADFIIS is improved by 7 percentage points. In the proposed algorithm， the model expansion method is used to detect anomalies in incomplete datasets without changing the original datasets， which expands the application scope of anomaly detection.

Key words: fuzzy rough set, multi-granularity, anomaly detection, outlier detection, incomplete mixed data

中图分类号:

TP182

唐宇皓, 彭德中, 袁钟. 面向不完备混合数据的模糊多粒度异常检测[J]. 计算机应用, 2024, 44(10): 3097-3104.

Yuhao TANG, Dezhong PENG, Zhong YUAN. Fuzzy multi-granularity anomaly detection for incomplete mixed data[J]. Journal of Computer Applications, 2024, 44(10): 3097-3104.

图/表 4

表1 不完备信息系统

Tab. 1 Incomplete information system

$U$	$a 1$	$a 2$	$a 3$
$u 1$	c	4	0.7
$u 2$	a	*	0.4
$u 3$	c	1	0.6
$u 4$	*	2	0.3
$u 5$	a	8	0.5
$u 6$	b	10	*

表1 不完备信息系统

Tab. 1 Incomplete information system

$U$	$a 1$	$a 2$	$a 3$
$u 1$	c	4	0.7
$u 2$	a	*	0.4
$u 3$	c	1	0.6
$u 4$	*	2	0.3
$u 5$	a	8	0.5
$u 6$	b	10	*

表2 实验中使用的数据集

Tab. 2 Datasets used in experiments

编号	数据集名称	缩写	属性数	样本数	异常值数	类型
1	Vertebral	Vert	6	240	30	数值型
2	Wine	Wine	13	129	10	数值型
3	Pima_TRUE_55_variant1	Pima	9	555	55	数值型
4	Hepatitis_2_9_variant1	Hep	19	94	9	混合型
5	German_1_14_variant1	Germ	20	714	14	混合型
6	Heart270_2_16_variant1	Heart	13	166	16	混合型
7	Wdbc_M_39_variant1	Wdbc	31	483	39	数值型
8	Sonar_M_10_variant1	Sonar	60	107	10	数值型
9	tic_tac_toe_negative_ 12_variant1	Tic	9	638	12	标称型
10	bands_band_6_variant1	Bands	38	317	6	混合型
11	creditA_plus_42_variant1	CreditA	15	425	42	混合型
12	horse_1_12_variant1	Horse	28	256	12	混合型

图1 对比实验的ROC曲线

Fig. 1 Experimental comparison results on ROC curve

表3 对比实验的AUC值

Tab. 3 Experimental comparison results on AUC values

数据集	COF	ROD	CD	LOCI	LMDD	HBOS	LODA	LOF	ILGNI	MFGAD	ADFIIS
平均值	0.758	0.867	0.807	0.642	0.707	0.883	0.716	0.715	0.846	0.929	0.920
Vert	0.406	0.384	0.417	0.665	0.449	0.319	0.349	0.355	0.384	0.663	0.670
Wine	0.853	0.865	0.573	0.526	0.825	0.902	0.849	0.889	0.712	0.947	0.968
Pima	0.871	0.948	0.897	0.623	0.888	0.948	0.944	0.838	0.871	0.967	0.945
Hep	0.808	0.986	0.874	0.925	0.846	0.981	0.341	0.711	0.999	0.983	0.986
Germ	0.868	0.945	0.913	0.627	0.451	0.912	0.682	0.903	0.943	0.970	0.942
Heart	0.950	0.980	0.873	0.663	0.868	0.978	0.790	0.783	0.816	0.979	0.983
Wdbc	0.758	0.995	0.913	0.642	0.992	0.996	0.984	0.459	0.975	0.993	0.997
Sonar	0.951	0.989	0.891	0.784	0.899	0.991	0.957	0.982	0.966	0.993	0.994
Tic	0.516	0.621	0.809	0.640	0.440	0.724	0.679	0.746	0.930	0.812	0.815
Bands	0.487	0.812	0.884	0.442	0.467	0.905	0.775	0.342	0.874	0.917	0.786
CreditA	0.788	0.984	0.870	0.475	0.469	0.984	0.451	0.750	0.854	0.980	0.981
Horse	0.834	0.896	0.768	0.691	0.852	0.953	0.791	0.820	0.825	0.943	0.967

参考文献 38

1	HAWKINS D M. Identification of Outliers［M］. Dordrecht： Springer， 1980：1-12.
2	祁超帅，何文思，焦毅，等. 无人机飞行数据异常检测算法综述［J］. 计算机应用， 2023， 43（6）： 1833-1841.
	QI C S， HE W S， JIAO Y， et al. Survey on anomaly detection algorithms for unmanned aerial vehicle flight data［J］. Journal of Computer Applications， 2023， 43（6）： 1833-1841.
3	袁钟，冯山. 基于邻域值差异度量的离群点检测算法［J］. 计算机应用， 2018， 38（7）： 1905-1909.
	YUAN Z， FENG S. Outlier detection algorithm based on neighborhood value difference metric［J］. Journal of Computer Applications， 2018， 38（7）： 1905-1909.
4	李衍志，范勇，高琳. 基于形态流的石油钻井水流异常检测［J］. 计算机应用， 2021， 41（6）： 1842-1848.
	LI Y Z， FAN Y， GAO L. Anomaly detection of oil drilling water flow based on shape flow［J］. Journal of Computer Applications， 2021， 41（6）： 1842-1848.
5	KRYSZKIEWICZ M. Rough set approach to incomplete information systems［J］. Information Sciences， 1998， 112（1/2/3/4）：39-49.
6	JELONEK J， KRAWIEC K， SLOWIŃSKI R. Rough set reduction of attributes and their domains for neural networks［J］. Computational Intelligence， 1995， 11（2）：339-347.
7	MROZEK A， PLONKA L， KEDZIERA J. The methodology of rough controller synthesis［C］// Proceedings of the IEEE 5th International Conference on Fuzzy Systems. Piscataway： IEEE， 1996， 2： 1135-1139.
8	DONG L， CHEN D， WANG N， et al. Key energy-consumption feature selection of thermal power systems based on robust attribute reduction with rough sets［J］. Information Sciences， 2020， 532： 61-71.
9	JIANG F， SUI Y， CAO C. Some issues about outlier detection in rough set theory［J］. Expert Systems with Applications， 2009， 36（3）： 4680-4687.
10	SANGEETHA T， MARY A G. A fuzzy proximity relation approach for outlier detection in the mixed dataset by using rough entropy-based weighted density method［J］. Soft Computing Letters， 2021， 3： 100027.
11	LIN T Y. Neighborhood systems-A qualitative theory for fuzzy and rough sets［J］. Advances in Machine Intelligence and Soft Computing， 1997， 4： 132-155.
12	HU Q， YU D， LIU J， et al. Neighborhood rough set based heterogeneous feature subset selection［J］. Information Sciences， 2008， 178（18）： 3577-3594.
13	CHEN Y， MIAO D， ZHANG H. Neighborhood outlier detection［J］. Expert Systems with Applications， 2010， 37（12）： 8745-8749.
14	GOH P Y， TAN S C， CHEAH W P. Mining outliers from medical datasets using neighbourhood rough set and data classification with neural network［C］// Emerging Trends in Neuro Engineering and Neural Computation. Singapore： Springer， 2017： 219-228.
15	YUAN Z， CHEN H， LI T， et al. Fuzzy information entropy-based adaptive approach for hybrid feature outlier detection［J］. Fuzzy Sets and Systems， 2021， 421： 1-28.
16	YUAN Z， CHEN H， LI T R， et al. Outlier detection based on fuzzy rough granules in mixed attribute data［J］. IEEE Transactions on Cybernetics， 2021， 52（8）： 8399-8412.
17	ZHAO H， QIN K. Mixed feature selection in incomplete decision table［J］. Knowledge-Based Systems， 2014， 57： 181-190.
18	WEI D-K， ZHOU X-Z. Rough set model in incomplete and fuzzy decision information system based on improved-tolerance relation［C］// Proceedings of the 2005 IEEE International Conference on Granular Computing. Piscataway： IEEE， 2005， 1： 278-283.
19	PATRICIAN P A. Multiple imputation for missing data［J］. Research in Nursing & Health， 2002， 25（1）： 76-84.
20	TAN A， WU W， LI J， et al. Evidence-theory-based numerical characterization of multigranulation rough sets in incomplete information systems［J］. Fuzzy Sets and Systems， 2016， 294： 18-35.
21	STEFANOWSKI J， TSOUKIÀS A. Incomplete information tables and rough classification［J］. Computational Intelligence， 2001， 17（3）： 545-566.
22	LEUNG Y， LI D. Maximal consistent block technique for rule acquisition in incomplete information systems［J］. Information Sciences， 2003， 153： 85-106.
23	PAWLAK Z. Rough sets［J］. International Journal of Computer & Information Sciences， 1982， 11： 341-356.
24	DAI J. Rough set approach to incomplete numerical data［J］. Information Sciences， 2013， 241： 43-57.
25	HU Q， YU D， XIE Z， et al. Fuzzy probabilistic approximation spaces and their information measures［J］. IEEE Transactions on Fuzzy Systems， 2006， 14（2）： 191-201.
26	LIANG J， CHIN K S， DANG C， et al. A new method for measuring uncertainty and fuzziness in rough set theory［J］. International Journal of General Systems， 2002， 31（4）： 331-342.
27	QIAN Y， LIANG J， YAO Y， et al. MGRS： a multi-granulation rough set［J］. Information Sciences， 2010， 180（6）： 949-970.
28	TANG J， CHEN Z， FU A W-C， et al. Enhancing effectiveness of outlier detections for low density patterns［C］// Proceedings of the 6th Pacific-Asia Conference on Advances in Knowledge Discovery and Data Mining. Berlin： Springer， 2002： 535-548.
29	ALMARDENY Y， BOUJNAH N， CLEARY F. A novel outlier detection method for multivariate data［J］. IEEE Transactions on Knowledge and Data Engineering， 2022， 34（9）： 4052-4062.
30	COOK R D. Detection of influential observation in linear regression［J］. Technometrics， 2000， 42（1）： 65-68.
31	PAPADIMITRIOU S， KITAGAWA H， GIBBONS P B， et al. LOCI： fast outlier detection using the local correlation integral［C］// Proceedings of the 19th International Conference on Data Engineering. Piscataway： IEEE， 2003： 315-326.
32	ARNING A， AGRAWAL R， RAGHAVAN P. A linear method for deviation detection in large databases［C］// Proceedings of the Second International Conference on Knowledge Discovery and Data Mining. New York： ACM， 1996： 164-169.
33	GOLDSTEIN M， DENGEL A. Histogram-Based Outlier Score （HBOS）： a fast unsupervised anomaly detection algorithm［C］// KI-2012： Poster and Demo Track. Kaiserslautern， Germany： DFKI， 2012， 1： 59-63.
34	BIRGÉ L， ROZENHOLC Y. How many bins should be put in a regular histogram［J］. ESAIM： Probability and Statistics， 2006， 10： 24-45.
35	BREUNIG M M， H-P KRIEGEL， NG R T， et al. LOF： identifying density-based local outliers［J］. ACM SIGMOD Record， 2000， 29（2）： 93-104.
36	YUAN Z， CHEN H， LUO C， et al. MFGAD： multi-fuzzy granules anomaly detection［J］. Information Fusion， 2023， 95： 17-25.
37	LI R， CHEN H， LIU S， et al. Incomplete mixed data-driven outlier detection based on local — global neighborhood information［J］. Information Sciences， 2023， 633： 204-225.
38	ZHAO Y， NASRULLAH Z， LI Z. PyOD： a Python toolbox for scalable outlier detection［J］. Journal of Machine Learning Research， 2019， 20： 1-7.

[1]	陈廷伟, 张嘉诚, 王俊陆. 面向联邦学习的随机验证区块链构建[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2770-2776.
[2]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[3]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[4]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[5]	林欣蕊, 王晓菲, 朱焱. 基于局部扩展社区发现的学术异常引用群体检测[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1855-1861.
[6]	孟凡, 杨群力, 霍静, 王新宽. 基于边缘异常候选集的迭代式主动多元时序异常检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1458-1463.
[7]	朱子蒙, 李志新, 郇战, 陈瑛, 梁久祯. 基于三元中心引导的弱监督视频异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1452-1457.
[8]	赵培, 乔焰, 胡荣耀, 袁新宇, 李敏悦, 张本初. 基于多域特征提取的多变量时间序列异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3419-3426.
[9]	刘永江, 陈斌. 基于多尺度记忆库的像素级无监督工业异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3587-3594.
[10]	蒋辉, 闫秋艳, 姜竹郡. 面向多元时间序列异常检测的对称正定自编码器方法[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3294-3299.
[11]	叶力硕, 何志学. 融合小波分解的多尺度时间序列异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3300-3306.
[12]	张雨宁, 阿布都克力木·阿布力孜, 梅悌胜, 徐春, 麦尔达娜·买买提热依木, 哈里旦木·阿布都克里木, 侯钰涛. 基于自监督特征提取的骨骼X线影像异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 175-181.
[13]	祁超帅, 何文思, 焦毅, 马英红, 蔡伟, 任素萍. 无人机飞行数据异常检测算法综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1833-1841.
[14]	许喆, 王志宏, 单存宇, 孙亚茹, 杨莹. 基于重构误差的无监督人脸伪造视频检测[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1571-1577.
[15]	张晓燕, 王佳一. 属性聚类下三支概念的对比[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1336-1341.

面向不完备混合数据的模糊多粒度异常检测

Fuzzy multi-granularity anomaly detection for incomplete mixed data

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 4

参考文献 38

相关文章 15

编辑推荐

Metrics