基于最大信息系数的ReliefF和支持向量机交互的自动特征选择算法

doi:10.11772/j.issn.1001-9081.2021081486

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (10): 3046-3053.DOI: 10.11772/j.issn.1001-9081.2021081486

• 人工智能 • 上一篇

基于最大信息系数的ReliefF和支持向量机交互的自动特征选择算法

葛倩, 张光斌, 张小凤

陕西师范大学物理学与信息技术学院，西安 710119

收稿日期:2021-08-19 修回日期:2021-11-20 接受日期:2021-11-21 发布日期:2022-01-07 出版日期:2022-10-10
通讯作者: 张光斌
作者简介:第一联系人：葛倩（1995—），女，山东滕州人，硕士研究生，主要研究方向：信号处理
张光斌（1971—），男，陕西三原人，教授，博士，主要研究方向：信号与信息处理、图像分割; guangbinzhang@snnu.edu.cn
张小凤（1971—），女，陕西三原人，教授，博士，主要研究方向：信号处理。

Automatic feature selection algorithm based on interaction of ReliefF with maximum information coefficient and SVM

Qian GE, Guangbin ZHANG, Xiaofeng ZHANG

School of Physics and Information Technology，Shaanxi Normal University，Xi’an Shaanxi 710119，China

Received:2021-08-19 Revised:2021-11-20 Accepted:2021-11-21 Online:2022-01-07 Published:2022-10-10
Contact: Guangbin ZHANG
About author:GE Qian， born in 1995， M. S. candidate. Her research interests include signal processing.
ZHANG Guangbin， born in 1971， Ph. D. ， professor. His research interests include signal and information processing， image segmentation.
ZHANG Xiaofeng， born in 1971， Ph. D. ， professor. Her research interests include signal processing.

摘要/Abstract

摘要：

为解决特征选择ReliefF算法在利用欧氏距离选取近邻样本过程中，算法稳定性差以及选取的特征子集分类准确率低的问题，提出了一种利用最大信息系数（MIC）作为近邻样本选择标准的MICReliefF算法；同时，以支持向量机（SVM）模型的分类准确率作为评价指标，并多次寻优，以自动确定其最优特征子集，从而实现MICReliefF算法与分类模型的交互优化，即MICReliefF-SVM自动特征选择算法。在多个UCI公开数据集上对MICReliefF-SVM算法的性能进行了验证。实验结果表明，MICReliefF-SVM自动特征选择算法不仅可以筛除更多的冗余特征，而且可以选择出具有良好稳定性和泛化能力的特征子集。与随机森林（RF）、最大相关最小冗余（mRMR）、相关性特征选择（CFS）等经典的特征选择算法相比，MICReliefF-SVM算法具有更高的分类准确率。

关键词: 特征选择, 最大信息系数, ReliefF算法, 支持向量机, 极限学习机

Abstract:

In order to solve the problems of feature selection ReliefF algorithm， such as poor algorithm stability and low classification accuracy for selected feature subsets caused by using Euclidean distance to select the nearest neighbor samples， an MICReliefF （Maximum Information Coefficient-ReliefF） algorithm based on Maximum Information Coefficient （MIC） was proposed. At the same time， the classification accuracy of the Support Vector Machine （SVM） model was used as the evaluation index， and the optimal feature subset was automatically determined by multiple optimizations， thereby realizing the interactive optimization of the MICReliefF algorithm and the classification model， that is the MICReliefF-SVM automatic feature selection algorithm. The performance of the MICReliefF-SVM algorithm was verified on several UCI public datasets. Experimental results show that the MICReliefF-SVM automatic feature selection algorithm cannot only filter out more redundant features， but also select the feature subsets with good stability and generalization ability. Compared with Random Forest （RF）， max-Relevance and Min-Redundancy （mRMR）， Correlation-based Feature Selection （CFS） and other classical feature selection algorithms， MICReliefF algorithm has higher classification accuracy.

Key words: feature selection, Maximum Information Coefficient (MIC), ReliefF algorithm, Support Vector Machine (SVM), Extreme Learning Machine (ELM)

中图分类号:

TP18

葛倩, 张光斌, 张小凤. 基于最大信息系数的ReliefF和支持向量机交互的自动特征选择算法[J]. 计算机应用, 2022, 42(10): 3046-3053.

Qian GE, Guangbin ZHANG, Xiaofeng ZHANG. Automatic feature selection algorithm based on interaction of ReliefF with maximum information coefficient and SVM[J]. Journal of Computer Applications, 2022, 42(10): 3046-3053.

图/表 9

参考文献 33

1	WANG Z， ZHANG Y， CHEN Z C， et al. Application of ReliefF algorithm to selecting feature sets for classification of high resolution remote sensing image［C］// Proceedings of the 2016 IEEE International Geoscience and Remote Sensing Symposium. Piscataway： IEEE， 2016： 755-758. 10.1109/igarss.2016.7729190
2	何沙沙. 基于脉搏波的亚健康识别之特征提取与选择研究［D］. 西安：西安科技大学， 2020： 37-38.
	HE S S. Feature extraction and selection research of sub-health recognition based on pulse wave［D］. Xi’an： Xi’an University of Science and Technology， 2020： 37-38.
3	BOLÓN-CANEDO V， SÁNCHEZ-MAROÑO N， ALONSO- BETANZOS A. A review of feature selection methods on synthetic data［J］. Knowledge and Information Systems， 2013， 34（3）： 483-519. 10.1007/s10115-012-0487-8
4	CHANDRASHEKAR G， SAHIN F. A survey on feature selection methods［J］. Computers and Electrical Engineering， 2014， 40（1）： 16-28. 10.1016/j.compeleceng.2013.11.024
5	TANG J L， ALELYANI S， LIU H. Feature selection for classification： a review［M］// AGGARWAL C C. Data Classification： Algorithms and Applications. New York： Chapman and Hall， 2014： 37-64.
6	FAN J Q， LV J C. A selective overview of variable selection in high dimensional feature space［J］. Statistica Sinica， 2010， 20（1）： 101-148.
7	董明刚，黄宇扬，敬超. 基于遗传实例和特征选择的K近邻训练集优化方法［J］. 计算机科学， 2020， 47（8）： 178-184. 10.11896/jsjkx.190700089
	DONG M G， HUANG Y Y， JING C. K-nearest neighbor classification training set optimization method based on genetic instance and feature selection［J］. Computer Science， 2020， 47（8）： 178-184. 10.11896/jsjkx.190700089
8	陈永波，李巧勤，刘勇国. 基于动态相关性的特征选择算法［J］. 计算机应用， 2022， 42（1）：109-114. 10.11772/j.issn.1001-9081.2021010128
	CHEN Y B， LI Q Q， LIU Y G. Dynamic relevance based feature selection algorithm［J］. Journal of Computer Applications， 2022， 42（1）：109-114. 10.11772/j.issn.1001-9081.2021010128
9	崔鸿雁，徐帅，张利锋，等. 机器学习中的特征选择方法研究及展望［J］. 北京邮电大学学报， 2018， 41（1）： 1-12. 10.13190/j.jbupt.2017-150
	CUI H Y， XU S， ZHANG L F， et al. The key techniques and future vision of feature selection in machine learning［J］. Journal of Beijing University of Posts and Telecommunications， 2018， 41（1）： 1-12. 10.13190/j.jbupt.2017-150
10	王海雷. 面向高维数据的特征学习算法研究［D］. 合肥：中国科学技术大学， 2019： 7-10.
	WANG H L. Research on feature learning algorithm for high-dimensional data［D］. Hefei： University of Science and Technology of China， 2019： 7-10.
11	谢娟英，郑清泉，吉新媛. F-score结合核极限学习机的集成特征选择算法［J］. 陕西师范大学学报（自然科学版）， 2020， 48（2）： 1-8.
	XIE J Y， ZHENG Q Q， JI X Y. An ensemble feature selection algorithm based on F-score and kernel extreme learning machine［J］. Journal of Shaanxi Normal University （Natural Science Edition）， 2020， 48（2）： 1-8.
12	丁思凡，王锋，魏巍. 一种基于标签相关度的Relief特征选择算法［J］. 计算机科学， 2021， 48（4）： 91-96. 10.11896/jsjkx.200800025
	DING S F， WANG F， WEI W. Relief feature selection algorithm based on label correlation［J］. Computer Science， 2021， 48（4）： 91-96. 10.11896/jsjkx.200800025
13	JOVIĆ A， BRKIĆ K， BOGUNOVIĆ N. A review of feature selection methods with applications［C］// Proceedings of the 38th International Convention on Information and Communication Technology， Electronics and Microelectronics. Piscataway： IEEE， 2015： 1200-1205. 10.1109/mipro.2015.7160458
14	KIRA K， RENDELL L A. The feature selection problem： traditional methods and a new algorithm［C］// Proceedings of the 10th National Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 1992： 129-134. 10.1016/b978-1-55860-247-2.50037-1
15	RAYMOND W J K， SING L T， KIN L W， et al. Feature pruning for partial discharge classification using IndFeat and ReliefF algorithm［C］// Proceedings of the IEEE 2nd International Conference on Dielectrics. Piscataway： IEEE， 2018： 1-4. 10.1109/icd.2018.8470035
16	KONONENKO I. Estimating attributes： analysis and extensions of RELIEF［C］// Proceedings of the 1994 European Conference on Machine Learning， LNCS 784. Berlin： Springer， 1994： 171-182.
17	WANG G Y， XU J， XU L L， et al. Method of extracting characteristic parameters of medium-speed maglev train levitation controller based on Relief algorithm［C］// Proceedings of the 2020 Chinese Control and Decision Conference. Piscataway： IEEE， 2020： 3366-3370. 10.1109/ccdc49329.2020.9164554
18	VAKHARIA V， GUPTA V K， KANKAR P K. Efficient fault diagnosis of ball bearing using ReliefF and Random Forest classifier［J］. Journal of the Brazilian Society of Mechanical Sciences and Engineering， 2017， 39（8）： 2969-2982. 10.1007/s40430-017-0717-9
19	WANG G Y， GAO J， HU F. A stable gene selection method based on sample weighting［C］// Proceedings of the 26th IEEE Canadian Conference on Electrical and Computer Engineering. Piscataway： IEEE， 2013： 1-4. 10.1109/ccece.2013.6567792
20	SUN L， KONG X L， XU J C， et al. A hybrid gene selection method based on ReliefF and ant colony optimization algorithm for tumor classification［J］. Scientific Reports， 2019， 9： No.8978. 10.1038/s41598-019-45223-x
21	廖阔，付建胜，杨万麟. 改进的ReliefF算法用于雷达距离像目标识别［J］. 电子测量与仪器学报， 2010， 24（9）： 831-836. 10.3724/sp.j.1187.2010.00831
	LIAO K， FU J S， YANG W L. Modified ReliefF algorithm for radar HRRP target recognition［J］. Journal of Electronic Measurement and Instrument， 2010， 24（9）： 831-836. 10.3724/sp.j.1187.2010.00831
22	LIU W J， GAO P P， YU W B， et al. Quantum relief algorithm［J］. Quantum Information Processing， 2018， 17（10）： No.280. 10.1007/s11128-018-2048-x
23	SAEYS Y， INZA I， LARRAÑAGA P. A review of feature selection techniques in bioinformatics［J］. Bioinformatics， 2007， 23（19）： 2507-2517. 10.1093/bioinformatics/btm344
24	赵玲，龚加兴，黄大荣，等. 基于Fisher Score与最大信息系数的齿轮箱故障特征选择方法［J］. 控制与决策， 2021， 36（9）： 2234-2240.
	ZHAO L， GONG J X， HUANG D R， et al. Fault feature selection method of gearbox based on Fisher Score and maximum information coefficient［J］. Control and Decision， 2021， 36（9）： 2234-2240.
25	RESHEF D N， RESHEF Y A， FINUCANE H K， et al. Detecting novel associations in large data sets［J］. Science， 2011， 334（6062）： 1518-1524. 10.1126/science.1205438
26	URBANOWICZ R J， OLSON R S， SCHMITT P， et al. Benchmarking relief-based feature selection methods for bioinformatics data mining［J］. Journal of Biomedical Informatics， 2018， 85：168-188. 10.1016/j.jbi.2018.07.015
27	尹欢一. 一种改进的多阶段ReliefF特征选择算法［J］. 信息与电脑， 2019（16）： 45-47.
	YIN H Y. An improved multi-stage ReliefF feature selection algorithm［J］. China Computer and Communication， 2019（16）： 45-47.
28	DUA D， GRAFF C. UCI machine learning repository［DB/OL］. ［2021-06-08］..
29	火元莲，李俞利. 基于多特征融合与极限学习机的植物叶片分类方法［J］. 计算机工程与科学， 2021， 43（3）： 486-493. 10.3969/j.issn.1007-130X.2021.03.014
	HUO Y L， LI Y L. A plant leaf classification method based on multi feature fusion and extreme learning machine［J］. Computer Engineering and Science， 2021， 43（3）：486-493. 10.3969/j.issn.1007-130X.2021.03.014
30	肖旎旖. 基于相关性和冗余性分析的特征选择算法研究［D］. 大连：大连理工大学， 2013： 5-7.
	XIAO N Y. The research of feature selection algorithms based on analysis of relevancy and redundancy［D］. Dalian： Dalian University of Technology， 2013： 5-7.
31	包芳. 基于互信息的特征选择算法研究［D］. 长春：长春工业大学， 2021： 11-16.
	BAO F. Research on feature selection algorithm based on mutual information［D］. Changchun： Changchun University of Technology， 2021： 11-16.
32	ALBASHISH D， HAMMOURI A I， BRAIK M， et al. Binary biogeography-based optimization based SVM-RFE for feature selection［J］. Applied Soft Computing， 2021， 101： No.107026. 10.1016/j.asoc.2020.107026
33	谢昆明. 基于MIC改进的PCA和CFS特征降维算法研究［D］. 武汉：湖北工业大学， 2020： 34-35.
	XIE K M. Research on PCA and CFS feature dimensionality reduction algorithm based on MIC［D］. Wuhan： Hubei University of Technology， 2020： 34-35.

数据集	总样本数	特征数	训练集样本数	测试集样本数
WDBC	569	30	341	228
Ionosphere	351	34	211	140
Horse Colic	368	25	221	147
Mushroom	8 124	22	4 874	3 250
Parkinsons	195	22	117	78
Connectionist Bench	208	60	125	83
Musk	476	166	286	190

数据集	总样本数	特征数	训练集样本数	测试集样本数
WDBC	569	30	341	228
Ionosphere	351	34	211	140
Horse Colic	368	25	221	147
Mushroom	8 124	22	4 874	3 250
Parkinsons	195	22	117	78
Connectionist Bench	208	60	125	83
Musk	476	166	286	190

实际	预测
实际	正类	负类
正类	TP（True Positive）	FN（False Negative）
负类	FP（False Positive）	TN（True Negative）

实际	预测
实际	正类	负类
正类	TP（True Positive）	FN（False Negative）
负类	FP（False Positive）	TN（True Negative）

数据集	评价指标	原始数据集的全部特征		ReliefF-SVM算法选取的特征子集		MICReliefF-SVM算法选取的特征子集
数据集	评价指标	平均值	标准差	平均值	标准差	平均值	标准差
WDBC	Accuracy	0.943 7	0.000 2	0.946 5	0.000 1	0.951 0	0.000 1
	Sensitivity	0.854 2	0.001 1	0.868 5	0.000 9	0.880 9	0.000 8
	Specificity	0.997 5	0.000 2	0.993 8	0.000 5	0.994 0	0.000 5
	Precision	0.994 8	0.001 0	0.988 0	0.000 2	0.988 4	0.000 2
	F值	0.918 8	0.000 4	0.924 1	0.000 3	0.928 9	0.000 3
Ionosphere	Accuracy	0.840 3	0.001 3	0.859 4	0.001 1	0.862 7	0.000 6
	Sensitivity	0.997 8	0.000 2	0.997 1	0.000 3	0.983 0	0.000 3
	Specificity	0.568 4	0.005 9	0.616 3	0.005 0	0.643 0	0.003 0
	Precision	0.801 0	0.001 9	0.822 6	0.001 8	0.835 3	0.001 0
	F值	0.888 0	0.000 7	0.900 8	0.000 6	0.902 8	0.000 3
Horse Colic	Accuracy	0.807 4	0.001 4	0.834 6	0.001 0	0.843 1	0.000 7
	Sensitivity	0.665 9	0.008 0	0.736 8	0.004 3	0.746 8	0.003 6
	Specificity	0.893 1	0.002 3	0.894 2	0.001 8	0.899 8	0.001 6
	Precision	0.785 4	0.006 3	0.807 6	0.004 7	0.815 5	0.003 3
	F值	0.710 7	0.003 2	0.767 3	0.001 9	0.776 7	0.001 7
Mushroom	Accuracy	0.956 8	0.000 0	0.962 9	0.000 0	0.963 0	0.000 0
	Sensitivity	0.951 6	0.000 0	0.963 9	0.000 0	0.965 7	0.000 0
	Specificity	0.961 6	0.000 0	0.962 0	0.000 0	0.961 7	0.000 0
	Precision	0.958 4	0.000 0	0.959 3	0.000 0	0.959 1	0.000 0
	F值	0.954 9	0.000 0	0.961 1	0.000 0	0.962 4	0.000 0
Parkinsons	Accuracy	0.755 5	0.003 3	0.822 1	0.002 5	0.838 2	0.001 8
	Sensitivity	0.999 7	0.000 5	0.996 7	0.000 1	0.992 7	0.000 1
	Specificity	0.021 5	0.009 9	0.306 9	0.020 6	0.343 0	0.010 5
	Precision	0.756 1	0.002 5	0.811 9	0.001 4	0.818 8	0.001 2
	F值	0.860 1	0.009 0	0.893 7	0.001 0	0.896 4	0.000 5
Connectionist Bench	Accuracy	0.670 5	0.004 9	0.727 3	0.002 8	0.783 4	0.001 4
	Sensitivity	0.816 5	0.022 7	0.788 4	0.006 2	0.852 0	0.005 5
	Specificity	0.532 8	0.045 6	0.688 0	0.010 9	0.715 8	0.007 4
	Precision	0.691 6	0.011 7	0.726 1	0.006 8	0.772 5	0.004 5
	F值	0.723 2	0.003 1	0.751 4	0.002 4	0.805 2	0.001 2
Musk	Accuracy	0.655 3	0.004 5	0.719 4	0.001 8	0.738 8	0.001 6
	Sensitivity	0.925 8	0.008 3	0.877 2	0.003 1	0.905 3	0.002 8
	Specificity	0.323 0	0.043 0	0.524 9	0.009 5	0.527 8	0.009 7
	Precision	0.645 5	0.006 3	0.703 9	0.002 9	0.716 0	0.002 8
	F值	0.752 4	0.001 3	0.777 9	0.000 9	0.796 9	0.000 7

基于最大信息系数的ReliefF和支持向量机交互的自动特征选择算法

Automatic feature selection algorithm based on interaction of ReliefF with maximum information coefficient and SVM

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 33

相关文章 15

编辑推荐

Metrics

数据集	原始特征数	筛选后的特征数
数据集	原始特征数	ReliefF-SVM算法	MICReliefF-SVM算法
WDBC	30	19	16
Ionosphere	34	16	6
Horse Colic	25	17	12
Mushroom	22	18	11
Parkinsons	22	7	3
Connectionist Bench	60	7	7
Musk	166	49	35

数据集	分类准确率
数据集	MI	mRMR	SVM-RFE	CFS	RF	GA	MICReliefF-SVM
WDBC	0.938 9	0.948 2	0.944 4	0.940 7	0.939 1	0.946 5	0.951 0
Ionosphere	0.796 5	0.849 6	0.825 4	0.848 8	0.858 4	0.826 8	0.862 7
Horse Colic	0.820 2	0.841 4	0.827 1	0.820 1	0.810 8	0.646 9	0.843 1
Mushroom	0.961 9	0.955 3	0.940 9	0.929 2	0.976 0	0.921 8	0.963 0
Parkinsons	0.798 1	0.829 5	0.762 6	0.783 5	0.761 5	0.749 0	0.838 2
Connectionist Bench	0.748 7	0.765 4	0.615 7	0.771 8	0.780 2	0.675 4	0.783 4
Musk	0.730 9	0.724 9	0.563 7	0.728 2	0.724 4	0.649 4	0.738 8

[1]	张丰婷, 杨菊花, 任金荟, 金坤. 基于优化变分模态分解和核极限学习机的集装箱吞吐量预测[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2333-2342.
[2]	张仲华, 赵福媛, 郭钧枫, 赵高长. 柯西自适应回溯搜索与最小二乘支持向量机的集成预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1829-1836.
[3]	陈亮, 汤显峰. 改进正余弦算法优化特征选择及数据分类[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1852-1861.
[4]	杨磊, 赵红东, 于快快. 基于多头注意力机制的端到端语音情感识别[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1869-1875.
[5]	赵静, 韩京宇, 钱龙, 毛毅. 基于改进的RAKEL算法的心电图诊断分类[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1892-1897.
[6]	孙林, 赵婧, 徐久成, 王欣雅. 基于邻域粗糙集和帝王蝶优化的特征选择算法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1355-1366.
[7]	李莉, 石可欣, 任振康. 基于特征选择和TrAdaBoost的跨项目缺陷预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1554-1562.
[8]	屈震, 李堃婷, 冯志玺. 基于有效通道注意力的遥感图像场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1431-1439.
[9]	李晓寒, 贾华丁, 程雪, 李太勇. 基于改进遗传算法和图神经网络的股市波动预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1624-1633.
[10]	乔桂芳, 侯守明, 刘彦彦. 基于改进卷积神经网络与支持向量机结合的面部表情识别算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1253-1259.
[11]	轩书婷, 刘惊雷. 基于离散哈希的聚类[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 713-723.
[12]	邱云志, 汪廷华, 戴小路. 双重特征加权模糊支持向量机[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 683-687.
[13]	张小清, 王晨曦, 吕彦, 林耀进. 基于ReliefF的层次分类在线流特征选择算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 688-694.
[14]	谭旺, 李轶. 循环程序的界函数合成[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 565-573.
[15]	祁祥洲, 邢红杰. 基于中心核对齐的多核单类支持向量机[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 349-356.

数据集	SVM			ELM
数据集	原始数据集的全部特征	ReliefF-SVM算法选取的特征子集	MICReliefF-SVM算法选取的特征子集	原始数据集的全部特征	ReliefF-SVM算法选取的特征子集	MICReliefF-SVM算法选取的特征子集
WDBC	1.351 9	1.027 8	0.922 0	0.704 6	0.688 8	0.638 4
Ionosphere	1.030 7	0.683 3	0.513 4	0.647 7	0.640 6	0.616 3
Horse Colic	1.256 2	0.907 0	0.743 8	0.657 2	0.635 4	0.632 5
Mushroom	93.026 8	75.305 9	57.023 4	2.110 4	2.094 5	2.051 1
Parkinsons	0.433 4	0.363 0	0.346 4	0.575 2	0.557 2	0.555 7
Connectionist Bench	0.869 4	0.415 8	0.412 0	0.612 4	0.560 7	0.558 2
Musk	7.013 3	2.828 6	2.109 6	0.762 9	0.706 0	0.695 2

数据集	SVM			ELM
数据集	原始数据集的全部特征	ReliefF-SVM算法选取的特征子集	MICReliefF-SVM算法选取的特征子集	原始数据集的全部特征	ReliefF-SVM算法选取的特征子集	MICReliefF-SVM算法选取的特征子集
WDBC	1.351 9	1.027 8	0.922 0	0.704 6	0.688 8	0.638 4
Ionosphere	1.030 7	0.683 3	0.513 4	0.647 7	0.640 6	0.616 3
Horse Colic	1.256 2	0.907 0	0.743 8	0.657 2	0.635 4	0.632 5
Mushroom	93.026 8	75.305 9	57.023 4	2.110 4	2.094 5	2.051 1
Parkinsons	0.433 4	0.363 0	0.346 4	0.575 2	0.557 2	0.555 7
Connectionist Bench	0.869 4	0.415 8	0.412 0	0.612 4	0.560 7	0.558 2
Musk	7.013 3	2.828 6	2.109 6	0.762 9	0.706 0	0.695 2

数据集	分类准确率
数据集	MI	mRMR	SVM-RFE	CFS	RF	GA	MICReliefF-SVM
WDBC	0.945 5	0.955 1	0.951 7	0.932 1	0.951 0	0.956 5	0.958 6
Ionosphere	0.872 4	0.865 4	0.854 8	0.725 1	0.881 6	0.856 1	0.889 5
Horse Colic	0.673 5	0.828 7	0.823 5	0.833 7	0.823 5	0.670 3	0.836 1
Mushroom	0.928 4	0.920 3	0.901 9	0.928 9	0.948 7	0.910 5	0.936 3
Parkinsons	0.833 0	0.844 5	0.851 0	0.865 8	0.852 6	0.830 1	0.870 6
Connectionist Bench	0.734 6	0.757 8	0.744 1	0.745 4	0.756 4	0.715 1	0.780 5
Musk	0.726 3	0.715 4	0.730 9	0.729 2	0.738 4	0.692 7	0.734 6

数据集	分类准确率
数据集	MI	mRMR	SVM-RFE	CFS	RF	GA	MICReliefF-SVM
WDBC	0.945 5	0.955 1	0.951 7	0.932 1	0.951 0	0.956 5	0.958 6
Ionosphere	0.872 4	0.865 4	0.854 8	0.725 1	0.881 6	0.856 1	0.889 5
Horse Colic	0.673 5	0.828 7	0.823 5	0.833 7	0.823 5	0.670 3	0.836 1
Mushroom	0.928 4	0.920 3	0.901 9	0.928 9	0.948 7	0.910 5	0.936 3
Parkinsons	0.833 0	0.844 5	0.851 0	0.865 8	0.852 6	0.830 1	0.870 6
Connectionist Bench	0.734 6	0.757 8	0.744 1	0.745 4	0.756 4	0.715 1	0.780 5
Musk	0.726 3	0.715 4	0.730 9	0.729 2	0.738 4	0.692 7	0.734 6