Feature selection for imbalanced data based on neighborhood tolerance mutual information and whale optimization algorithm

doi:10.11772/j.issn.1001-9081.2022050691

Journal of Computer Applications ›› 2023, Vol. 43 ›› Issue (6): 1842-1854.DOI: 10.11772/j.issn.1001-9081.2022050691

Special Issue: 数据科学与技术

• Data science and technology • Previous Articles Next Articles

Feature selection for imbalanced data based on neighborhood tolerance mutual information and whale optimization algorithm

Lin SUN¹^,²(), Jinxu HUANG¹, Jiucheng XU¹

^1.College of Computer and Information Engineering，Henan Normal University，Xinxiang Henan 453007，China
^2.Engineering Lab of Intelligence Business and Internet of Things of Henan Province （Henan Normal University），Xinxiang Henan 453007，China

Received:2022-05-12 Revised:2022-11-05 Accepted:2022-11-15 Online:2023-06-08 Published:2023-06-10
Contact: Lin SUN
About author:HUANG Jinxu， born in 1995， M. S. candidate. His research interests include granular computing， data mining.
XU Jiucheng， born in 1963， Ph. D.， professor. His research interests include granular computing， data mining.
Supported by:
National Natural Science Foundation of China(62076089);Key Scientific and Technological Project of Henan Province(212102210136)

基于邻域容差互信息和鲸鱼优化算法的非平衡数据特征选择

孙林¹^,²(), 黄金旭¹, 徐久成¹

^1.河南师范大学计算机与信息工程学院, 河南新乡 453007
^2.智慧商务与物联网技术河南省工程实验室(河南师范大学), 河南新乡 453007

通讯作者: 孙林
作者简介:孙林（1979—），男，河南南阳人，副教授，博士，CCF会员，主要研究方向：粒计算、数据挖掘、机器学习、生物信息学Email：sunlin@htu.edu.cn
黄金旭（1995—），男，河南周口人，硕士研究生，主要研究方向：粒计算、数据挖掘
徐久成（1963—），男，河南洛阳人，教授，博士生导师，博士，CCF高级会员，主要研究方向：粒计算、数据挖掘。
基金资助:
国家自然科学基金资助项目(62076089);河南省科技攻关项目(212102210136)

Abstract

Abstract:

Aiming at the problems that most feature selection algorithms do not fully consider class non-uniform distribution of data， the correlation between features and the influence of different parameters on the feature selection results， a feature selection method for imbalanced data based on neighborhood tolerance mutual information and Whale Optimization Algorithm （WOA） was proposed. Firstly， for the binary and multi-class datasets in incomplete neighborhood decision system， two kinds of feature importances of imbalanced data were defined on the basis of the upper and lower boundary regions. Then， to fully reflect the decision-making ability of features and the correlation between features， the neighborhood tolerance mutual information was developed. Finally， by integrating the feature importance of imbalanced data and the neighborhood tolerance mutual information， a Feature Selection for Imbalanced Data based on Neighborhood tolerance mutual information （FSIDN） algorithm was designed， where the optimal parameters of feature selection algorithm were obtained by using WOA， and the nonlinear convergence factor and adaptive inertia weight were introduced to improve WOA and avoid WOA from falling into the local optimum. Experiments were conducted on 8 benchmark functions， the results show that the improved WOA has good optimization performance； and the experimental results of feature selection on 13 binary and 4 multi-class imbalanced datasets show that the proposed algorithm can effectively select the feature subsets with good classification effect compared with the other related algorithms.

Key words: imbalanced data, feature selection, incomplete neighborhood decision system, mutual information, Whale Optimization Algorithm (WOA)

摘要：

针对大多数特征选择算法未充分考虑数据的类不均匀分布、特征之间的相关性和不同参数对特征选择结果的影响等问题，提出一种基于邻域容差互信息和鲸鱼优化算法（WOA）的非平衡数据特征选择方法。首先，在不完备邻域决策系统中，针对二分类数据集和多分类数据集，基于上、下边界域定义两种非平衡数据的特征重要度；然后，为充分反映特征的决策能力和特征之间的相关性，构建邻域容差互信息；最后，通过将非平衡数据特征重要度和邻域容差互信息相结合，提出基于邻域容差互信息的非平衡数据特征选择（FSIDN）算法，该算法采用WOA获取特征选择算法中的最优参数，并引入非线性收敛因子和自适应惯性权重来改进WOA，以解决WOA易陷入局部最优的问题。在8个基准函数上进行实验，结果表明改进的WOA具有较好的优化性能；在13个二分类和4个多分类的非平衡数据集上进行特征选择实验，实验结果表明，与其他相关算法相比，所提算法能够有效地选择出具有良好分类性能的特征子集。

关键词: 非平衡数据, 特征选择, 不完备邻域决策系统, 互信息, 鲸鱼优化算法

CLC Number:

TP181

Lin SUN, Jinxu HUANG, Jiucheng XU. Feature selection for imbalanced data based on neighborhood tolerance mutual information and whale optimization algorithm[J]. Journal of Computer Applications, 2023, 43(6): 1842-1854.

孙林, 黄金旭, 徐久成. 基于邻域容差互信息和鲸鱼优化算法的非平衡数据特征选择[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1842-1854.

Figures/Tables 12

Tab. 1 Information of eight benchmark functions

函数	函数名	公式	变量范围
f₁	Sphere	$f 1 (x) = ∑ i = 1 n x i 2$	［-100，100］
f₂	Step	$f 2 (x) = ∑ i = 1 n x i + 0.5 2$	［-100，100］
f₃	Schwefel2.22	$f 3 (x) = ∑ i = 1 n x i + ∏ i = 1 n x i$	［-10，10］
f₄	Quartic	$f 4 (x) = ∑ i = 1 n i x i 4 + r a n d o m 0,1$	［-1.28，1.28］
f₅	Ackley	$f 5 (x) = - 20 e x p - 15 1 d ∑ i = 1 d x i 2 - e x p 1 d ∑ i = 1 d c o s 2 π x i) + 20 + e$	［-32，32］
f₆	Griewank	$f 6 (x) = 1 4 000 ∑ i = 1 n x i 2 - ∏ i = 1 n c o s x i / i + 1$	［-600，600］
f₇	Rastrigin	$f 7 (x) = ∑ i = 1 n (x i 2 - 10 c o s (2 π x i) + 10)$	［-5.12，5.12］
f₈	Levy	$f 8 (x) = s i n 2 (π w i) + ∑ i = 1 D - 1 (w i - 1) 2 [1 + 10 s i n 2 (π w i + 1)] + (w D - 1) 2 [1 + s i n 2 (2 π w D)]$ ； $w i = 1 + (x i - 1) / 4, ∀ i = 1,2, …, D$	［-5.12，5.12］

Tab. 1 Information of eight benchmark functions

函数	函数名	公式	变量范围
f₁	Sphere	$f 1 (x) = ∑ i = 1 n x i 2$	［-100，100］
f₂	Step	$f 2 (x) = ∑ i = 1 n x i + 0.5 2$	［-100，100］
f₃	Schwefel2.22	$f 3 (x) = ∑ i = 1 n x i + ∏ i = 1 n x i$	［-10，10］
f₄	Quartic	$f 4 (x) = ∑ i = 1 n i x i 4 + r a n d o m 0,1$	［-1.28，1.28］
f₅	Ackley	$f 5 (x) = - 20 e x p - 15 1 d ∑ i = 1 d x i 2 - e x p 1 d ∑ i = 1 d c o s 2 π x i) + 20 + e$	［-32，32］
f₆	Griewank	$f 6 (x) = 1 4 000 ∑ i = 1 n x i 2 - ∏ i = 1 n c o s x i / i + 1$	［-600，600］
f₇	Rastrigin	$f 7 (x) = ∑ i = 1 n (x i 2 - 10 c o s (2 π x i) + 10)$	［-5.12，5.12］
f₈	Levy	$f 8 (x) = s i n 2 (π w i) + ∑ i = 1 D - 1 (w i - 1) 2 [1 + 10 s i n 2 (π w i + 1)] + (w D - 1) 2 [1 + s i n 2 (2 π w D)]$ ； $w i = 1 + (x i - 1) / 4, ∀ i = 1,2, …, D$	［-5.12，5.12］

Tab. 2 Experimental results of seven optimization algorithms on eight benchmark functions on two dimensions

函数	算法	dim=30			dim=50
函数	算法	最优值	最差值	平均值	最优值	最差值	平均值
f₁	PSO算法	2.751 0E-78	2.489 2E-61	8.528 1E-63	1.133 2E-05	7.162 7E-04	2.748 1E-04
	MPA	2.522 9E-12	1.304 4E-10	4.447 0E-11	1.940 5E-13	1.257 5E-11	2.210 8E-12
	WOA	2.772 9E-61	2.319 6E-38	8.296 2E-50	2.081 9E-15	5.951 2E-11	3.888 7E-12
	WWOA	5.483 6E-54	3.403 7E-46	7.332 9E-52	3.584 0E-37	6.831 9E-25	4.634 0E-33
	CWOA	4.880 4E-47	5.378 2E-39	8.501 7E-44	2.642 7E-42	2.479 0E-36	3.883 0E-39
	A-WOA	6.613 4E-39	1.259 7E-31	9.013 3E-33	2.819 5E-39	2.545 7E-31	3.566 5E-32
	AWWOA	7.8940E-96	3.0695E-70	1.0232E-71	5.1663E-59	3.8422E-46	7.9061E-48
f₂	PSO算法	4.707 4E-06	0.001 6	2.577 9E-07	0.134 9	0.622 9	0.302 4
	MPA	5.552 1E-12	1.346 6E-06	1.031 8E-07	1.557 1E-04	4.386 7	0.103 9
	WOA	3.688 9E-09	4.794 6E-06	2.577 9E-07	1.010 6E-10	1.858 4E-05	6.897 9E-07
	WWOA	2.779 1E-14	6.290 1E-11	5.302 9E-13	1.056 1E-13	3.735 2E-06	9.462 9E-09
	CWOA	3.438 0E-10	3.802 1E-08	9.490 3E-09	1.573 1E-11	8.904 3E-08	6.255 1E-10
	A-WOA	5.440 9E-16	9.327 8E-09	7.467 7E-11	1.414 7E-09	2.887 6E-07	3.941 9E-08
	AWWOA	1.6368E-16	4.0926E-10	1.4466E-11	6.0514E-16	4.4493E-09	1.4657E-10
f₃	PSO算法	1.418 5E-08	7.536 3E-05	4.058 8E-06	2.3644E-39	3.174 3E-30	1.289 5E-31
	MPA	4.333 4E-09	3.505 3E-07	1.107 5E-07	6.253 5E-09	6.200 2E-07	1.468 6E-07
	WOA	3.973 0E-37	3.171 9E-31	2.501 9E-32	1.080 1E-18	2.105 7E-16	7.628 3E-17
	WWOA	4.680 3E-43	3.921 7E-39	5.690 3E-41	1.369 0E-20	7.496 3E-18	6.548 1E-19
	CWOA	6.403 8E-45	2.997 4E-38	5.753 9E-41	2.884 8E-19	6.594 0E-17	8.390 2E-18
	A-WOA	9.551 1E-25	3.978 3E-20	3.039 8E-21	5.942 9E-26	6.715 8E-20	3.690 6E-21
	AWWOA	6.2757E-50	1.2039E-40	5.3386E-42	2.516 6E-38	7.5899E-32	5.0783E-33
f₄	PSO算法	1.258 3E-05	3.1184E-04	1.395 3E-04	0.014 0	0.048 5	0.027 2
	MPA	5.512 9E-04	0.004 7	0.098 0	2.014 2E-04	0.0054	0.0018
	WOA	1.133 2E-05	7.162 7E-04	2.748 1E-04	0.002 0	0.183 0	0.050 4
	WWOA	6.773 2E-05	7.825 9E-03	2.906 4E-04	1.317 4E-04	0.093 5	0.040 8
	CWOA	7.380 3E-05	1.624 8E-03	3.437 2E-04	0.001 7	0.097 4	0.063 0
	A-WOA	5.479 0E-04	6.910 6E-02	1.302 7E-03	1.743 1E-03	3.063 6E-02	1.984 2E-03
	AWWOA	7.6804E-06	5.120 4E-04	9.6231E-05	4.1881E-05	0.011 2	0.003 2
f₅	PSO算法	2.213 6	13.615 0	5.793 5	2.788 8E-05	5.692 0	1.846 5
	MPA	1.946 3	9.836 8	3.521 0	5.012 4E-08	9.581 4E-07	2.873 8E-07
	WOA	0.015 1	0.139 1	0.045 1	0.006 8	0.634 7	0.055 4
	WWOA	3.485 1E-02	0.091 0	0.036 2	1.438 1E-10	3.967 6E-08	5.774 1E-09
	CWOA	8.359 4E-06	1.378 0E-03	2.747 9E-05	6.093 1E-11	9.408 7E-08	1.968 9E-09
	A-WOA	9.601 6E-03	7.334 8E-01	3.991 6E-02	7.411 2E-14	5.473 1E-11	4.866 4E-14
	AWWOA	3.4936E-07	2.8868E-06	1.0987E-06	8.8818E-16	1.5099E-14	6.3594E-15
f₆	PSO算法	0.205 5	41.184 4	6.686 5	6.994 4E-15	0.110 4	0.027 3
	MPA	0.041 1	0.856 0	0.288 5	2.310 4E-13	2.9767E-09	6.7740E-11
	WOA	0.536 0	14.921 0	5.027 7	1.494 4E-10	0.044 3	0.009 1
	WWOA	0.018 0	0.973 5	0.754 3	2.943 0E-11	0.365 0	0.108 4
	CWOA	6.094 5E-03	1.764 6	1.335 8	0	0.847 5	0.504 9
	A-WOA	0.026 4	0.731 1	0.493 6	0	0.563 7	0.047 9
	AWWOA	2.3772E-05	0.0168	0.0048	0	0.160 3	0.003 2
f₇	PSO算法	11.945 2	27.861 1	21.053 3	12.934 5	25.868 9	19.879 3
	MPA	5.684 3E-14	4.189 1E-09	1.699 9E-10	0	39.360 2	4.8523
	WOA	0	34.523 5	6.597 0	13.930 9	32.837 7	20.655 2
	WWOA	0	3.540 7	1.887 3	5.891 6	11.487 3	9.084 6
	CWOA	0	0	0	3.021 8	26.070 1	19.066 2
	A-WOA	0	0	0	0	24.462 9	18.782 2
	AWWOA	0	0	0	3.979 8	16.9143	11.800 2
f₈	PSO算法	1.4481E-08	25.364 3	5.424 1	3.183 0	32.543 1	15.350 1
	MPA	0.053 2	1.584 5	0.381 8	0.998 2	14.896 4	5.437 7
	WOA	0.179 1	12.638 1	6.055 8	0.679 2	1.931 5	1.204 1
	WWOA	0.843 0	9.601 9	7.964 3	0.533 2	0.875 9	0.741 8
	CWOA	0.165 3	1.879 0	1.028 4	0.960 4	1.706 1	1.320 7
	A-WOA	0.341 7	0.823 9	0.437 2	3.590 1E-01	0.843 7	0.663 1
	AWWOA	0.089 6	0.6285	0.2646	6.0284E-04	0.4521	0.2325

Tab. 2 Experimental results of seven optimization algorithms on eight benchmark functions on two dimensions

函数	算法	dim=30			dim=50
函数	算法	最优值	最差值	平均值	最优值	最差值	平均值
f₁	PSO算法	2.751 0E-78	2.489 2E-61	8.528 1E-63	1.133 2E-05	7.162 7E-04	2.748 1E-04
	MPA	2.522 9E-12	1.304 4E-10	4.447 0E-11	1.940 5E-13	1.257 5E-11	2.210 8E-12
	WOA	2.772 9E-61	2.319 6E-38	8.296 2E-50	2.081 9E-15	5.951 2E-11	3.888 7E-12
	WWOA	5.483 6E-54	3.403 7E-46	7.332 9E-52	3.584 0E-37	6.831 9E-25	4.634 0E-33
	CWOA	4.880 4E-47	5.378 2E-39	8.501 7E-44	2.642 7E-42	2.479 0E-36	3.883 0E-39
	A-WOA	6.613 4E-39	1.259 7E-31	9.013 3E-33	2.819 5E-39	2.545 7E-31	3.566 5E-32
	AWWOA	7.8940E-96	3.0695E-70	1.0232E-71	5.1663E-59	3.8422E-46	7.9061E-48
f₂	PSO算法	4.707 4E-06	0.001 6	2.577 9E-07	0.134 9	0.622 9	0.302 4
	MPA	5.552 1E-12	1.346 6E-06	1.031 8E-07	1.557 1E-04	4.386 7	0.103 9
	WOA	3.688 9E-09	4.794 6E-06	2.577 9E-07	1.010 6E-10	1.858 4E-05	6.897 9E-07
	WWOA	2.779 1E-14	6.290 1E-11	5.302 9E-13	1.056 1E-13	3.735 2E-06	9.462 9E-09
	CWOA	3.438 0E-10	3.802 1E-08	9.490 3E-09	1.573 1E-11	8.904 3E-08	6.255 1E-10
	A-WOA	5.440 9E-16	9.327 8E-09	7.467 7E-11	1.414 7E-09	2.887 6E-07	3.941 9E-08
	AWWOA	1.6368E-16	4.0926E-10	1.4466E-11	6.0514E-16	4.4493E-09	1.4657E-10
f₃	PSO算法	1.418 5E-08	7.536 3E-05	4.058 8E-06	2.3644E-39	3.174 3E-30	1.289 5E-31
	MPA	4.333 4E-09	3.505 3E-07	1.107 5E-07	6.253 5E-09	6.200 2E-07	1.468 6E-07
	WOA	3.973 0E-37	3.171 9E-31	2.501 9E-32	1.080 1E-18	2.105 7E-16	7.628 3E-17
	WWOA	4.680 3E-43	3.921 7E-39	5.690 3E-41	1.369 0E-20	7.496 3E-18	6.548 1E-19
	CWOA	6.403 8E-45	2.997 4E-38	5.753 9E-41	2.884 8E-19	6.594 0E-17	8.390 2E-18
	A-WOA	9.551 1E-25	3.978 3E-20	3.039 8E-21	5.942 9E-26	6.715 8E-20	3.690 6E-21
	AWWOA	6.2757E-50	1.2039E-40	5.3386E-42	2.516 6E-38	7.5899E-32	5.0783E-33
f₄	PSO算法	1.258 3E-05	3.1184E-04	1.395 3E-04	0.014 0	0.048 5	0.027 2
	MPA	5.512 9E-04	0.004 7	0.098 0	2.014 2E-04	0.0054	0.0018
	WOA	1.133 2E-05	7.162 7E-04	2.748 1E-04	0.002 0	0.183 0	0.050 4
	WWOA	6.773 2E-05	7.825 9E-03	2.906 4E-04	1.317 4E-04	0.093 5	0.040 8
	CWOA	7.380 3E-05	1.624 8E-03	3.437 2E-04	0.001 7	0.097 4	0.063 0
	A-WOA	5.479 0E-04	6.910 6E-02	1.302 7E-03	1.743 1E-03	3.063 6E-02	1.984 2E-03
	AWWOA	7.6804E-06	5.120 4E-04	9.6231E-05	4.1881E-05	0.011 2	0.003 2
f₅	PSO算法	2.213 6	13.615 0	5.793 5	2.788 8E-05	5.692 0	1.846 5
	MPA	1.946 3	9.836 8	3.521 0	5.012 4E-08	9.581 4E-07	2.873 8E-07
	WOA	0.015 1	0.139 1	0.045 1	0.006 8	0.634 7	0.055 4
	WWOA	3.485 1E-02	0.091 0	0.036 2	1.438 1E-10	3.967 6E-08	5.774 1E-09
	CWOA	8.359 4E-06	1.378 0E-03	2.747 9E-05	6.093 1E-11	9.408 7E-08	1.968 9E-09
	A-WOA	9.601 6E-03	7.334 8E-01	3.991 6E-02	7.411 2E-14	5.473 1E-11	4.866 4E-14
	AWWOA	3.4936E-07	2.8868E-06	1.0987E-06	8.8818E-16	1.5099E-14	6.3594E-15
f₆	PSO算法	0.205 5	41.184 4	6.686 5	6.994 4E-15	0.110 4	0.027 3
	MPA	0.041 1	0.856 0	0.288 5	2.310 4E-13	2.9767E-09	6.7740E-11
	WOA	0.536 0	14.921 0	5.027 7	1.494 4E-10	0.044 3	0.009 1
	WWOA	0.018 0	0.973 5	0.754 3	2.943 0E-11	0.365 0	0.108 4
	CWOA	6.094 5E-03	1.764 6	1.335 8	0	0.847 5	0.504 9
	A-WOA	0.026 4	0.731 1	0.493 6	0	0.563 7	0.047 9
	AWWOA	2.3772E-05	0.0168	0.0048	0	0.160 3	0.003 2
f₇	PSO算法	11.945 2	27.861 1	21.053 3	12.934 5	25.868 9	19.879 3
	MPA	5.684 3E-14	4.189 1E-09	1.699 9E-10	0	39.360 2	4.8523
	WOA	0	34.523 5	6.597 0	13.930 9	32.837 7	20.655 2
	WWOA	0	3.540 7	1.887 3	5.891 6	11.487 3	9.084 6
	CWOA	0	0	0	3.021 8	26.070 1	19.066 2
	A-WOA	0	0	0	0	24.462 9	18.782 2
	AWWOA	0	0	0	3.979 8	16.9143	11.800 2
f₈	PSO算法	1.4481E-08	25.364 3	5.424 1	3.183 0	32.543 1	15.350 1
	MPA	0.053 2	1.584 5	0.381 8	0.998 2	14.896 4	5.437 7
	WOA	0.179 1	12.638 1	6.055 8	0.679 2	1.931 5	1.204 1
	WWOA	0.843 0	9.601 9	7.964 3	0.533 2	0.875 9	0.741 8
	CWOA	0.165 3	1.879 0	1.028 4	0.960 4	1.706 1	1.320 7
	A-WOA	0.341 7	0.823 9	0.437 2	3.590 1E-01	0.843 7	0.663 1
	AWWOA	0.089 6	0.6285	0.2646	6.0284E-04	0.4521	0.2325

Tab. 3 Information of thirteen binary imbalanced datasets

数据集	样本数	特征数	非平衡率	%P/%	%N/%	数据类型
Ionosphere	351	34	1.79	35.90	64.10	numerical
Heart	270	13	1.25	44.44	55.56	mixed
Pima	768	8	1.87	34.90	65.10	numerical
Vehicle3	846	18	2.99	25.06	74.94	numerical
Wdbc	569	30	1.68	37.26	62.74	numerical
Wpbc	198	33	3.21	23.74	76.26	numerical
Zoo	101	16	19.20	4.95	95.05	nominal
Arrhythmia	452	279	9.27	9.73	90.27	mixed
Segment	2 310	19	6.02	14.25	85.75	numerical
DLBCL	77	6 285	3.05	24.68	75.32	numerical
Lung	203	12 601	10.94	8.37	91.63	numerical
SRBCT	83	2 308	6.55	13.25	86.75	numerical
Breast	84	9 126	7.30	11.90	88.10	numerical

Tab. 4 Optimal feature subsets and the number of features selected by five algorithms on eight binary datasets

数据集	F2HARNRS	WAR	CfsSubsetEval	RSFSAID	FSIDN
Ionosphere	1，3，4，5，7，8，10，12，24，25，28，29，30，31，32，34（16）	3，5，6，14，17， 22，23，24（8）	1，3，4，5，6，7，8，16，18， 20，21，24，27，28，29， 31，34（17）	1，3，4，5，6，8，14，16（8）	3，5，6，15，17， 31，32，33（8）
Heart	1，2，3，4，5，7，8，10，11，12，13（11）	1，2，3，6，7，8，9，10，11，12，13（11）	2，3，8，9，10，11，12， 13（8）	3，5，11，12，13（5）	2，6，7，9（4）
Vehicle3	1，2，3，4，7，9，10，11，13，15，16，17，18（13）	1，2，3，4，6，8，9，10，11，13，14，16，18（13）	3，10，11，12，14，16（6）	1，5，8，10，13，14，15，17，18（9）	1，2，3，15，16（5）
Wdbc	2，9，12，22，23，25，26，28（8）	8，13，22，24，26（5）	2，7，8，14，19，21，23，24，25，27，28（11）	3，4，5，6，8，21，22，28（8）	7，8，9，16，29（5）
Wpbc	1，2，6，7，10，19，23，24，26，27，32，33（12）	1（1）	1，2，4，5，6，10，12，13，19， 27，30，32，33（13）	1，4，5，6，12，13，15，19，26， 27，32，33（12）	1，14，19，27（4）
Zoo	1，6，12，13，14（5）	1，6，8，12，13（5）	1，4，5，11，12，14，15（7）	1，4，6，12，13，14（6）	6，7，12，16（4）
Arrhythmia	1，14，64，176，212， 267（6）	47，50，63，71，99，111， 118，135，179，207， 217，249，250，257， 269，270，277，279（18）	11，22，25，36，59，110， 122，160，177，217，243， 247，249，250，257，260， 267，279（18）	1，2，4，5，8，11，19，59，60，79，81，92， 110，111，122，173，177，178，179，181， 183，186，192，197，206，213，216，230， 232，236，247，249，253，254，257，259， 260，267，277，278，279（41）	16，19，46，50，59， 114，160，177，180， 218，244，246，257， 267，277（15）
Segment	1，2，4，6，13，14， 15，16，18，19（10）	1，2，4，5，6，7，8，10， 11，12，15（11）	1，14，19（3）	13，16，19（3）	1，17（2）

Tab. 4 Optimal feature subsets and the number of features selected by five algorithms on eight binary datasets

数据集	F2HARNRS	WAR	CfsSubsetEval	RSFSAID	FSIDN
Ionosphere	1，3，4，5，7，8，10，12，24，25，28，29，30，31，32，34（16）	3，5，6，14，17， 22，23，24（8）	1，3，4，5，6，7，8，16，18， 20，21，24，27，28，29， 31，34（17）	1，3，4，5，6，8，14，16（8）	3，5，6，15，17， 31，32，33（8）
Heart	1，2，3，4，5，7，8，10，11，12，13（11）	1，2，3，6，7，8，9，10，11，12，13（11）	2，3，8，9，10，11，12， 13（8）	3，5，11，12，13（5）	2，6，7，9（4）
Vehicle3	1，2，3，4，7，9，10，11，13，15，16，17，18（13）	1，2，3，4，6，8，9，10，11，13，14，16，18（13）	3，10，11，12，14，16（6）	1，5，8，10，13，14，15，17，18（9）	1，2，3，15，16（5）
Wdbc	2，9，12，22，23，25，26，28（8）	8，13，22，24，26（5）	2，7，8，14，19，21，23，24，25，27，28（11）	3，4，5，6，8，21，22，28（8）	7，8，9，16，29（5）
Wpbc	1，2，6，7，10，19，23，24，26，27，32，33（12）	1（1）	1，2，4，5，6，10，12，13，19， 27，30，32，33（13）	1，4，5，6，12，13，15，19，26， 27，32，33（12）	1，14，19，27（4）
Zoo	1，6，12，13，14（5）	1，6，8，12，13（5）	1，4，5，11，12，14，15（7）	1，4，6，12，13，14（6）	6，7，12，16（4）
Arrhythmia	1，14，64，176，212， 267（6）	47，50，63，71，99，111， 118，135，179，207， 217，249，250，257， 269，270，277，279（18）	11，22，25，36，59，110， 122，160，177，217，243， 247，249，250，257，260， 267，279（18）	1，2，4，5，8，11，19，59，60，79，81，92， 110，111，122，173，177，178，179，181， 183，186，192，197，206，213，216，230， 232，236，247，249，253，254，257，259， 260，267，277，278，279（41）	16，19，46，50，59， 114，160，177，180， 218，244，246，257， 267，277（15）
Segment	1，2，4，6，13，14， 15，16，18，19（10）	1，2，4，5，6，7，8，10， 11，12，15（11）	1，14，19（3）	13，16，19（3）	1，17（2）

Fig. 1 ROC of seven algorithms on three binary datasets under four classifiers

Tab. 5 AUC values of eight algorithms on nine binary datasets under four classifiers

分类器	数据集	F2HARNRS	WAR	CfsSubsetEval	RSFSAID	SYMON	FSAWFN	FRSA	FSIDN
J48	Ionosphere	0.924 3	0.890 5	0.878 3	0.920 2	0.893 8	0.895 5	0.928 8	0.9291
	Heart	0.820 1	0.815 3	0.804 8	0.827 7	0.821 5	0.823 0	0.796 5	0.8337
	Pima	0.776 8	0.726 7	0.765 9	0.767 9	0.755 9	0.774 8	0.622 0	0.7793
	Vehicle3	0.744 8	0.710 4	0.644 9	0.758 6	0.752 4	0.712 6	0.9272	0.769 3
	Wdbc	0.954 0	0.935 6	0.937 2	0.944 3	0.939 0	0.899 1	0.904 6	0.9557
	Wpbc	0.705 9	0.576 9	0.558 2	0.687 5	0.652 3	0.568 5	0.579 2	0.7217
	Zoo	0.495 8	0.495 8	0.495 8	0.495 8	0.495 8	0.846 7	0.9793	0.887 0
	Arrhythmia	0.811 0	0.730 5	0.726 4	0.789 4	0.686 8	0.801 3	0.812 3	0.8773
	Segment	0.985 2	0.985 8	0.973 9	0.992 3	0.987 5	0.985 2	0.9981	0.993 7
	均值	0.802 0	0.763 1	0.753 9	0.798 2	0.776 1	0.811 9	0.838 7	0.8608
Random Forest	Ionosphere	0.981 4	0.979 6	0.971 7	0.981 1	0.975 7	0.975 4	0.982 6	0.9837
	Heart	0.893 6	0.887 8	0.877 9	0.888 7	0.880 7	0.886 4	0.886 4	0.9035
	Pima	0.822 2	0.816 2	0.792 2	0.824 3	0.815 2	0.765 8	0.622 0	0.8377
	Vehicle3	0.870 5	0.867 4	0.716 9	0.870 5	0.868 4	0.865 3	0.9751	0.900 0
	Wdbc	0.991 6	0.990 7	0.988 6	0.992 2	0.991 9	0.986 0	0.994 1	0.9976
	Wpbc	0.753 1	0.681 9	0.627 9	0.713 5	0.723 8	0.709 1	0.708 7	0.7631
	Zoo	0.729 2	0.989 6	0.788 5	0.989 6	0.963 5	0.925 9	0.9982	0.976 4
	Arrhythmia	0.914 8	0.9407	0.917 3	0.939 2	0.926 6	0.918 5	0.849 1	0.935 5
	Segment	0.999 8	0.999 6	0.997 3	0.9999	0.9999	0.996 4	0.9999	0.999 7
	均值	0.884 0	0.905 9	0.853 1	0.911 0	0.905 1	0.892 1	0.890 7	0.9219
Naive Bayes	Ionosphere	0.954 0	0.933 5	0.935 6	0.961 8	0.946 0	0.948 1	0.982 3	0.9830
	Heart	0.904 1	0.902 5	0.886 8	0.902 4	0.901 5	0.873 7	0.744 3	0.9035
	Pima	0.833 3	0.817 7	0.822 9	0.821 8	0.825 3	0.754 9	0.674 5	0.8487
	Vehicle3	0.698 8	0.700 1	0.681 8	0.741 1	0.735 5	0.753 0	0.753 0	0.7641
	Wdbc	0.988 9	0.984 7	0.983 0	0.988 7	0.990 8	0.983 0	0.9925	0.9925
	Wpbc	0.7602	0.655 3	0.726 1	0.724 8	0.702 7	0.710 3	0.680 4	0.750 0
	Zoo	0.645 8	0.762 5	0.664 6	0.827 1	0.740 6	0.799 5	0.9971	0.847 0
	Arrhythmia	0.887 5	0.769 1	0.897 3	0.929 3	0.827 9	0.931 7	0.969 2	0.9880
	Segment	0.997 5	0.986 5	0.982 9	0.9979	0.996 4	0.996 5	0.998 7	0.997 5
	均值	0.852 2	0.834 7	0.842 3	0.877 2	0.851 9	0.861 2	0.865 8	0.8971
SVM	Ionosphere	0.922 4	0.900 3	0.910 0	0.928 1	0.862 4	0.873 9	0.9316	0.905 3
	Heart	0.552 5	0.525 8	0.746 7	0.817 5	0.816 7	0.702 5	0.608 3	0.8198
	Pima	0.613 4	0.500 0	0.485 0	0.590 5	0.704 9	0.500 0	0.527 1	0.7176
	Vehicle3	0.590 3	0.500 0	0.504 7	0.608 4	0.500 0	0.500 0	0.609 2	0.6560
	Wdbc	0.940 4	0.748 3	0.507 1	0.945 6	0.945 3	0.937 8	0.507 1	0.9484
	Wpbc	0.578 5	0.500 1	0.502 1	0.566 6	0.500 0	0.566 6	0.581 2	0.5823
	Zoo	0.500 0	0.500 0	0.500 0	0.500 0	0.500 0	0.500 0	0.9550	0.631 0
	Arrhythmia	0.500 0	0.500 0	0.521 5	0.708 6	0.500 0	0.784 1	0.502 1	0.7941
	Segment	0.884 8	0.970 6	0.730 3	0.989 4	0.979 0	0.901 5	0.835 6	0.9927
	均值	0.675 8	0.627 2	0.600 8	0.739 4	0.700 9	0.696 3	0.673 0	0.7830

Tab. 5 AUC values of eight algorithms on nine binary datasets under four classifiers

分类器	数据集	F2HARNRS	WAR	CfsSubsetEval	RSFSAID	SYMON	FSAWFN	FRSA	FSIDN
J48	Ionosphere	0.924 3	0.890 5	0.878 3	0.920 2	0.893 8	0.895 5	0.928 8	0.9291
	Heart	0.820 1	0.815 3	0.804 8	0.827 7	0.821 5	0.823 0	0.796 5	0.8337
	Pima	0.776 8	0.726 7	0.765 9	0.767 9	0.755 9	0.774 8	0.622 0	0.7793
	Vehicle3	0.744 8	0.710 4	0.644 9	0.758 6	0.752 4	0.712 6	0.9272	0.769 3
	Wdbc	0.954 0	0.935 6	0.937 2	0.944 3	0.939 0	0.899 1	0.904 6	0.9557
	Wpbc	0.705 9	0.576 9	0.558 2	0.687 5	0.652 3	0.568 5	0.579 2	0.7217
	Zoo	0.495 8	0.495 8	0.495 8	0.495 8	0.495 8	0.846 7	0.9793	0.887 0
	Arrhythmia	0.811 0	0.730 5	0.726 4	0.789 4	0.686 8	0.801 3	0.812 3	0.8773
	Segment	0.985 2	0.985 8	0.973 9	0.992 3	0.987 5	0.985 2	0.9981	0.993 7
	均值	0.802 0	0.763 1	0.753 9	0.798 2	0.776 1	0.811 9	0.838 7	0.8608
Random Forest	Ionosphere	0.981 4	0.979 6	0.971 7	0.981 1	0.975 7	0.975 4	0.982 6	0.9837
	Heart	0.893 6	0.887 8	0.877 9	0.888 7	0.880 7	0.886 4	0.886 4	0.9035
	Pima	0.822 2	0.816 2	0.792 2	0.824 3	0.815 2	0.765 8	0.622 0	0.8377
	Vehicle3	0.870 5	0.867 4	0.716 9	0.870 5	0.868 4	0.865 3	0.9751	0.900 0
	Wdbc	0.991 6	0.990 7	0.988 6	0.992 2	0.991 9	0.986 0	0.994 1	0.9976
	Wpbc	0.753 1	0.681 9	0.627 9	0.713 5	0.723 8	0.709 1	0.708 7	0.7631
	Zoo	0.729 2	0.989 6	0.788 5	0.989 6	0.963 5	0.925 9	0.9982	0.976 4
	Arrhythmia	0.914 8	0.9407	0.917 3	0.939 2	0.926 6	0.918 5	0.849 1	0.935 5
	Segment	0.999 8	0.999 6	0.997 3	0.9999	0.9999	0.996 4	0.9999	0.999 7
	均值	0.884 0	0.905 9	0.853 1	0.911 0	0.905 1	0.892 1	0.890 7	0.9219
Naive Bayes	Ionosphere	0.954 0	0.933 5	0.935 6	0.961 8	0.946 0	0.948 1	0.982 3	0.9830
	Heart	0.904 1	0.902 5	0.886 8	0.902 4	0.901 5	0.873 7	0.744 3	0.9035
	Pima	0.833 3	0.817 7	0.822 9	0.821 8	0.825 3	0.754 9	0.674 5	0.8487
	Vehicle3	0.698 8	0.700 1	0.681 8	0.741 1	0.735 5	0.753 0	0.753 0	0.7641
	Wdbc	0.988 9	0.984 7	0.983 0	0.988 7	0.990 8	0.983 0	0.9925	0.9925
	Wpbc	0.7602	0.655 3	0.726 1	0.724 8	0.702 7	0.710 3	0.680 4	0.750 0
	Zoo	0.645 8	0.762 5	0.664 6	0.827 1	0.740 6	0.799 5	0.9971	0.847 0
	Arrhythmia	0.887 5	0.769 1	0.897 3	0.929 3	0.827 9	0.931 7	0.969 2	0.9880
	Segment	0.997 5	0.986 5	0.982 9	0.9979	0.996 4	0.996 5	0.998 7	0.997 5
	均值	0.852 2	0.834 7	0.842 3	0.877 2	0.851 9	0.861 2	0.865 8	0.8971
SVM	Ionosphere	0.922 4	0.900 3	0.910 0	0.928 1	0.862 4	0.873 9	0.9316	0.905 3
	Heart	0.552 5	0.525 8	0.746 7	0.817 5	0.816 7	0.702 5	0.608 3	0.8198
	Pima	0.613 4	0.500 0	0.485 0	0.590 5	0.704 9	0.500 0	0.527 1	0.7176
	Vehicle3	0.590 3	0.500 0	0.504 7	0.608 4	0.500 0	0.500 0	0.609 2	0.6560
	Wdbc	0.940 4	0.748 3	0.507 1	0.945 6	0.945 3	0.937 8	0.507 1	0.9484
	Wpbc	0.578 5	0.500 1	0.502 1	0.566 6	0.500 0	0.566 6	0.581 2	0.5823
	Zoo	0.500 0	0.500 0	0.500 0	0.500 0	0.500 0	0.500 0	0.9550	0.631 0
	Arrhythmia	0.500 0	0.500 0	0.521 5	0.708 6	0.500 0	0.784 1	0.502 1	0.7941
	Segment	0.884 8	0.970 6	0.730 3	0.989 4	0.979 0	0.901 5	0.835 6	0.9927
	均值	0.675 8	0.627 2	0.600 8	0.739 4	0.700 9	0.696 3	0.673 0	0.7830

Tab. 6 Classification accuracy of five algorithms on six binary datasets under Navie Bayes and SVM classifiers

分类器	数据集	NNRS	ARMDNRS	RSFSAID	ARIHISUD	FSIDN
Naive Bayes	Arrhythmia	0.747 1	0.776 9	0.876 4	0.887 6	0.9324
	Vehicle3	0.702 2	0.701 6	0.703 7	0.7066	0.7066
	Wdbc	0.924 5	0.933 3	0.966 3	0.976 3	0.9894
	Wpbc	0.691 6	0.672 4	0.763 7	0.774 2	0.8180
	Zoo	0.643 2	0.666 7	0.719 6	0.7236	0.710 6
	Pima	0.800 6	0.794 5	0.824 9	0.816 7	0.8348
	均值	0.751 5	0.757 6	0.809 1	0.814 2	0.8320
SVM	Arrhythmia	0.702 9	0.714 4	0.736 4	0.797 0	0.8301
	Vehicle3	0.767 9	0.792 4	0.847 3	0.8574	0.855 3
	Wdbc	0.877 4	0.868 5	0.922 7	0.943 9	0.9560
	Wpbc	0.840 7	0.856 6	0.876 3	0.8999	0.886 2
	Zoo	0.776 9	0.764 5	0.816 8	0.820 7	0.8264
	Pima	0.832 7	0.863 5	0.8833	0.880 4	0.875 5
	均值	0.799 8	0.810 0	0.847 1	0.866 6	0.8716

Fig.2 Comparison of running time of five algorithms on six datasets

Fig.3 Classification accuracy and the number of selected genes on four high-dimensional gene datasets

Fig. 4 G-mean of seven algorithms on four high-dimensional datasets under three classifiers

Tab. 7 Information of four multi-class imbalanced datasets

数据集	样本数	特征数	类别数	每个类的样本数
Lymphography	148	19	4	50/49/46/3
Solar-flare_2	1 066	13	6	202/200/200/155/155/154
Vehicle	846	19	4	229/226/203/188
Car_df	1 728	7	4	1 210/384/77/57

Tab. 8 MFM of four algorithms on four multi-class datasets under four classifiers

分类器	数据集	Original	RSFSAID-M	SYMON	FSIDN
J48	Lympho-graphy	0.672 4	0.780 4	0.702 3	0.8047
	Solar-flare_2	0.598 0	0.607 0	0.598 5	0.6827
	Vehicle	0.721 1	0.721 8	0.718 6	0.7348
	Car_df	0.796 7	0.796 7	0.815 9	0.8246
SVM	Lympho-graphy	0.400 8	0.4177	0.404 2	0.4177
	Solar-flare_2	0.565 1	0.5776	0.576 6	0.568 1
	Vehicle	0.198 6	0.450 4	0.613 6	0.6175
	Car_df	0.687 9	0.710 9	0.792 9	0.8020
Naive Bayes	Lympho-graphy	0.728 9	0.745 4	0.717 4	0.7844
	Solar-flare_2	0.613 6	0.618 4	0.623 3	0.6304
	Vehicle	0.418 6	0.420 0	0.511 4	0.5241
	Car_df	0.6163	0.6163	0.6163	0.6163
Random Forest	Lympho-graphy	0.588 6	0.763 2	0.690 3	0.8093
	Solar-flare_2	0.613 4	0.615 7	0.603 3	0.7261
	Vehicle	0.756 0	0.762 0	0.7742	0.771 1
	Car_df	0.847 7	0.848 5	0.871 8	0.8724

References 37

1	LEE G K K， KASIM H， SIRIGINA R P， et al. Smart robust Feature selection （SoFt） for imbalanced and heterogeneous data［J］. Knowledge-Based Systems， 2022， 236： No.107197. 10.1016/j.knosys.2021.107197
2	SUN L， WANG L Y， DING W P， et al. Feature selection using fuzzy neighborhood entropy-based uncertainty measures for fuzzy neighborhood multigranulation rough sets ［J］. IEEE Transactions on Fuzzy Systems， 2021， 29（1）： 19-33. 10.1109/tfuzz.2020.2989098
3	孙林，黄苗苗，徐久成. 基于邻域粗糙集和Relief的弱标记特征选择方法［J］. 计算机科学， 2022， 49（4）： 152-160. 10.11896/jsjkx.210300094
	SUN L， HUANG M M， XU J C. Weak label feature selection method based on neighborhood rough sets and Relief［J］. Computer Science， 2022， 49（4）： 152-160. 10.11896/jsjkx.210300094
4	康雁，王海宁，陶柳，等. 混合改进的花授粉算法与灰狼算法用于特征选择［J］. 计算机科学， 2022， 49（6A）： 125-132. 10.11896/jsjkx.210600135
	KANG Y， WANG H N， TAO L， et al. Hybrid improved flower pollination algorithm and gray wolf algorithm for feature selection［J］. Computer Science， 2022， 49（6A）： 125-132. 10.11896/jsjkx.210600135
5	ARAM K Y， LAM S S， KHASAWNEH M T. Linear cost-sensitive max-margin embedded feature selection for SVM［J］. Expert Systems with Applications， 2022， 197： No.116683. 10.1016/j.eswa.2022.116683
6	刘艳，程璐，孙林. 基于K-S检验和邻域粗糙集的特征选择方法［J］. 河南师范大学学报（自然科学版）， 2019， 47（2）： 21-28. 10.16366/j.cnki.1000-2367.2019.02.004
	LIU Y， CHENG L， SUN L. Feature selection method based on K-S test and neighborhood rough set ［J］. Journal of Henan Normal University （Natural Science Edition）， 2019， 47（2）： 21-28. 10.16366/j.cnki.1000-2367.2019.02.004
7	SUN L， WANG L Y， DING W P， et al. Neighborhood multi-granulation rough sets-based attribute reduction using Lebesgue and entropy measures in incomplete neighborhood decision systems ［J］. Knowledge-Based Systems， 2020， 192： No.105373. 10.1016/j.knosys.2019.105373
8	WANG C Z， HU Q H， WANG X Z， et al. Feature selection based on neighborhood discrimination index［J］. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（7）： 2986-2999. 10.1109/tnnls.2018.2830700
9	姚晟，徐风，吴照玉，等. 基于邻域粗糙互信息熵的非单调性属性约简［J］. 控制与决策， 2019， 34（2）： 353-361. 10.13195/j.kzyjc.2017.1065
	YAO S， XU F， WU Z Y， et al. Non-monotonic attribute reduction based on neighborhood rough mutual information entropy［J］. Control and Decision， 2019， 34（2）： 353-361. 10.13195/j.kzyjc.2017.1065
10	SUN L， ZHANG X Y， QIAN Y H， et al. Feature selection using neighborhood entropy-based uncertainty measures for gene expression data classification［J］. Information Sciences， 2019， 502： 18-41. 10.1016/j.ins.2019.05.072
11	李懿恒，杜晨曦，杨燕燕，等. 基于伪标签一致度的不平衡数据特征选择算法［J］. 计算机应用， 2022， 42（2）： 475- 484. 10.11772/j.issn.1001-9081.2021050957
	LI Y H， DU C X， YANG Y Y， et al. Feature selection algorithm for imbalanced data based on pseudo-label consistency ［J］. Journal of Computer Applications， 2022， 42（2）： 475- 484. 10.11772/j.issn.1001-9081.2021050957
12	林耀进，陈祥焰，白盛兴，等. 基于最大决策边界的高维类不平衡数据在线流特征选择［J］. 模式识别与人工智能， 2020， 33（9）： 820-829.
	LIN Y J， CHEN X Y， BAI S X， et al. Online streaming feature selection for high-dimensional and class-imbalanced data based on max-decision boundary［J］. Pattern Recognition and Artificial Intelligence， 2020， 33（9）： 820-829.
13	CHEN H M， LI T R， FAN X， et al. Feature selection for imbalanced data based on neighborhood rough sets［J］．Information Sciences， 2019， 483： 1-20. 10.1016/j.ins.2019.01.041
14	张亚钏，李浩，宋晨明，等. 混合人工化学反应优化和狼群算法的特征选择［J］. 计算机科学， 2021， 48（11A）： 93-101，129. 10.11896/jsjkx.210100067
	ZHANG Y C， LI H， SONG C M， et al. Hybrid artificial chemical reaction optimization with wolf colony algorithm for feature selection［J］. Computer Science， 2021， 48（11A）： 93-101， 129. 10.11896/jsjkx.210100067
15	贾鹤鸣，姜子超，李瑶，等. 基于改进斑点鬣狗优化算法的同步优化特征选择［J］. 计算机应用， 2021， 41（5）： 1290-1298.
	JIA H M， JIANG Z C， LI Y， et al. Simultaneous feature selection optimization based on improved spotted hyena optimizer algorithm ［J］. Journal of Computer Applications， 2021， 41（5）： 1290-1298.
16	MIRJALILI S， LEWIS A. The whale optimization algorithm［J］. Advances in Engineering Software， 2016， 95： 51-67. 10.1016/j.advengsoft.2016.01.008
17	AGRAWAL R K， KAUR B， SHARMA S. Quantum based whale optimization algorithm for wrapper feature selection ［J］. Applied Soft Computing， 2020， 89： No.106092. 10.1016/j.asoc.2020.106092
18	TAWHID M A， IBRAHIM A M. Feature selection based on rough set approach， wrapper approach， and binary whale optimization algorithm［J］. International Journal of Machine Learning and Cybernetics， 2020， 11（3）： 573-602. 10.1007/s13042-019-00996-5
19	谢娟英，吴肇中. 基于可辨识矩阵的完全自适应2D特征选择算法［J］. 软件学报， 2022， 33（4）： 1338-1353.
	XIE J Y， WU Z Z. Totally adaptive 2D feature selection algorithm based on discernibility matrix ［J］. Journal of Software， 2022， 33（4）： 1338-1353.
20	王生武，陈红梅. 基于粗糙集和改进鲸鱼优化算法的特征选择方法［J］. 计算机科学， 2020， 47（2）： 44-50. 10.11896/jsjkx.181202285
	WANG S W， CHEN H M. Feature selection method based on rough sets and improved whale optimization algorithm［J］. Computer Science， 2020， 47（2）： 44-50. 10.11896/jsjkx.181202285
21	姚晟，李初宴，陈悦. 基于非平衡数据下不完备混合型信息系统的属性约简［J］. 计算机应用研究， 2021， 38（5）： 1331-1335.
	YAO S， LI C Y， CHEN Y. Attribute reduction of incomplete hybrid information system based on unbalanced data［J］. Application Research of Computers， 2021， 38（5）： 1331-1335.
22	汤安迪，韩统，徐登武，等. 混沌精英哈里斯鹰优化算法［J］. 计算机应用， 2021， 41（8）： 2265-2272. 10.11772/j.issn.1001-9081.2020101610
	TANG A D， HAN T， XU D W， et al. Chaotic elite Harris hawk optimization algorithm ［J］. Journal of Computer Applications， 2021， 41（8）： 2265-2272. 10.11772/j.issn.1001-9081.2020101610
23	张磊，刘升，高文欣，等多子群改进的海洋捕食者算法［J］. 微电子学与计算机， 2022， 39（2）： 51-59. 10.3969/j.issn.1000-7180.2022.1.wdzxyjsj202201007
	ZHANG L， LIU S， GAO W X， et al. Improved marine predators algorithm with multi-subpopulation ［J］. Microelectronics and Computer， 2022， 39（2）： 51-59. 10.3969/j.issn.1000-7180.2022.1.wdzxyjsj202201007
24	POLI R， KENNEDY J， BLACKWELL T. Particle swarm optimization ［J］. Swarm Intelligence， 2007， 1（1）： 33-57. 10.1007/s11721-007-0002-0
25	孙林，黄金旭，徐久成，等. 基于自适应鲸鱼优化算法和容错邻域粗糙集的特征选择算法［J］. 模式识别与人工智能， 2022， 35（2）： 150- 165.
	SUN L， HUANG J X， XU J C， et al. Feature selection based on adaptive whale optimization algorithm and fault-tolerance neighborhood rough sets［J］. Pattern Recognition and Artificial Intelligence， 2022， 35（2）： 150-165.
26	SUN L， ZHANG J X， DING W P， et al. Feature reduction for imbalanced data classification using similarity-based feature clustering with adaptive weighted K-nearest neighbors［J］. Information Sciences， 2022， 593： 591-613. 10.1016/j.ins.2022.02.004
27	HU Q H， YU D R， LIU J F， et al. Neighborhood rough set based heterogeneous feature subset selection ［J］. Information Sciences， 2008， 178（18）： 3577-3594. 10.1016/j.ins.2008.05.024
28	LIU J F， HU Q H， YU D R. A weighted rough set-based method developed for class imbalance learning ［J］. Information Sciences， 2008， 178（4）： 1235-1256. 10.1016/j.ins.2007.10.002
29	FRANK E， HALL M， HOLMES G， et al. Data Mining and Knowledge Discovery Handbook［M］. Boston： Springer， 2009： 1269-1277. 10.1007/978-0-387-09823-4_66
30	MOAYEDIKIA A， ONG K L， BOO Y L， et al. Feature selection for high dimensional imbalanced class data using harmony search［J］. Engineering Applications of Artificial Intelligence， 2017， 57： 38-49. 10.1016/j.engappai.2016.10.008
31	WANG C Z， SHI Y P， FAN X D， et al. Attribute reduction based on k-nearest neighborhood rough sets ［J］. International Journal of Approximate Reasoning， 2019， 106： 18-31. 10.1016/j.ijar.2018.12.013
32	盛魁，卞显福，董辉，等. 基于邻域粗糙集组合度量的混合数据属性约简算法［J］. 计算机应用与软件， 2020， 37（2）： 234-239. 10.3969/j.issn.1000-386x.2020.02.036
	SHENG K， BIAN X F， DONG H， et al. Attribute reduction of mixed data based on neighborhood rough set combination metrics［J］. Computer Applications and Software， 2020， 37（2）： 234-239. 10.3969/j.issn.1000-386x.2020.02.036
33	WU X D， YU K， DING W， et al. Online feature selection with streaming features ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（5）： 1178-1192. 10.1109/tpami.2012.197
34	YU K， WU X D， DING W， et al. Scalable and accurate online feature selection for big data ［J］. ACM Transactions on Knowledge Discover from Data， 2016， 11（2）： No.16. 10.1145/2976744
35	ZHOU P， HU X G， LI P P， et al. Online streaming feature selection using adapted neighborhood rough set［J］. Information Sciences， 2019， 481： 258-279. 10.1016/j.ins.2018.12.074
36	ZHOU P， HU X G， LI P P， et al. OFS-Density： a novel online streaming feature selection method［J］. Pattern Recognition， 2018， 86： 48-61. 10.1016/j.patcog.2018.08.009
37	ZHOU J， FOSTER D P， STINE R A， et al. Streamwise feature selection［J］. Journal of Machine Learning Research， 2006， 7： 1861-1885. 10.1145/1081870.1081914

[1]	Shunyong LI, Shiyi LI, Rui XU, Xingwang ZHAO. Incomplete multi-view clustering algorithm based on self-attention fusion [J]. Journal of Computer Applications, 2024, 44(9): 2696-2703.
[2]	Hong CHEN, Bing QI, Haibo JIN, Cong WU, Li’ang ZHANG. Class-imbalanced traffic abnormal detection based on 1D-CNN and BiGRU [J]. Journal of Computer Applications, 2024, 44(8): 2493-2499.
[3]	Qiangkui LENG, Xuezi SUN, Xiangfu MENG. Oversampling method for imbalanced data based on sample potential and noise evolution [J]. Journal of Computer Applications, 2024, 44(8): 2466-2475.
[4]	Mingzhu LEI, Hao WANG, Rong JIA, Lin BAI, Xiaoying PAN. Oversampling algorithm based on synthesizing minority class samples using relationship between features [J]. Journal of Computer Applications, 2024, 44(5): 1428-1436.
[5]	Lin GAO, Yu ZHOU, Tak Wu KWONG. Evolutionary bi-level adaptive local feature selection [J]. Journal of Computer Applications, 2024, 44(5): 1408-1414.
[6]	Lin SUN, Menghan LIU. K-means clustering based on adaptive cuckoo optimization feature selection [J]. Journal of Computer Applications, 2024, 44(3): 831-841.
[7]	Dapeng XU, Xinmin HOU. Feature selection method for graph neural network based on network architecture design [J]. Journal of Computer Applications, 2024, 44(3): 663-670.
[8]	Shengjie MENG, Wanjun YU, Ying CHEN. Feature selection algorithm for high-dimensional data with maximum correlation and maximum difference [J]. Journal of Computer Applications, 2024, 44(3): 767-771.
[9]	Jingxin LIU, Wenjing HUANG, Liangsheng XU, Chong HUANG, Jiansheng WU. Unsupervised feature selection model with dictionary learning and sample correlation preservation [J]. Journal of Computer Applications, 2024, 44(12): 3766-3775.
[10]	Du CHEN, Yuanyuan LI, Yu CHEN. Directed gene regulatory network inference algorithm based on t-test and stepwise network search [J]. Journal of Computer Applications, 2024, 44(1): 199-205.
[11]	Tian HE, Zongxin SHEN, Qianqian HUANG, Yanyong HUANG. Adaptive learning-based multi-view unsupervised feature selection method [J]. Journal of Computer Applications, 2023, 43(9): 2657-2664.
[12]	Hanchen LI, Shunxiang ZHANG, Guangli ZHU, Tengke WANG. Chinese homophonic neologism discovery method based on Pinyin similarity [J]. Journal of Computer Applications, 2023, 43(9): 2715-2720.
[13]	Xiang GUO, Wengang JIANG, Yuhang WANG. Encrypted traffic classification method based on improved Inception-ResNet [J]. Journal of Computer Applications, 2023, 43(8): 2471-2476.
[14]	Jinghuan LAO, Dong HUANG, Changdong WANG, Jianhuang LAI. Multi-view ensemble clustering algorithm based on view-wise mutual information weighting [J]. Journal of Computer Applications, 2023, 43(6): 1713-1718.
[15]	Dongliang MU, Meng HAN, Ang LI, Shujuan LIU, Zhihui GAO. Overview of classification methods for complex data streams with concept drift [J]. Journal of Computer Applications, 2023, 43(6): 1664-1675.

Feature selection for imbalanced data based on neighborhood tolerance mutual information and whale optimization algorithm

基于邻域容差互信息和鲸鱼优化算法的非平衡数据特征选择

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 12

References 37

Related Articles 15

Recommended Articles

Metrics