元学习的不确定性特征构建及初步分析

doi:10.11772/j.issn.1001-9081.2021071198

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (2): 343-348.DOI: 10.11772/j.issn.1001-9081.2021071198

• 人工智能 • 上一篇

元学习的不确定性特征构建及初步分析

李艳¹^,²^,³(), 郭劼¹^,², 范斌¹^,²

^1.河北大学数学与信息科学学院, 河北保定 071002
^2.河北省机器学习与计算智能重点实验室(河北大学), 河北保定 071002
^3.北京师范大学珠海校区应用数学与交叉科学研究中心, 广东珠海 519087

收稿日期:2021-07-12 修回日期:2021-08-06 接受日期:2021-08-12 发布日期:2022-02-21 出版日期:2022-02-10
通讯作者: 李艳
作者简介:李艳（1976—），女，河北衡水人，教授，博士，CCF会员，主要研究方向：机器学习、不确定性信息处理；
郭劼（1995—），男，河北邯郸人，硕士研究生，主要研究方向：机器学习、不确定性信息处理；
范斌（1995—），男，河北邢台人，硕士研究生，主要研究方向：机器学习、粒计算、知识发现。
基金资助:
国家自然科学基金资助项目(61976141);河北省教育厅科学技术重点项目(ZD2019021)

Feature construction and preliminary analysis of uncertainty for meta-learning

Yan LI¹^,²^,³(), Jie GUO¹^,², Bin FAN¹^,²

^1.College of Mathematics and Information Science，Hebei University，Baoding Hebei 071002，China
^2.Hebei Key Laboratory of Machine Learning and Computational Intelligence （Hebei University），Baoding Hebei 071002，China
^3.Research Center for Applied Mathematics and Interdisciplinary Sciences，Beijing Normal University at Zhuhai，Zhuhai Guangzhou 519087，China

Received:2021-07-12 Revised:2021-08-06 Accepted:2021-08-12 Online:2022-02-21 Published:2022-02-10
Contact: Yan LI
About author:LI Yan， born in 1976， Ph. D.， professor. Her research interests include machine learning， uncertain information processing.
GUO Jie， born in 1995， M. S. candidate. His research interests include machine learning， uncertain information processing.
FAN Bin， born in 1995， M. S. candidate. His research interests include machine learning， granular computing， knowledge discovery.
Supported by:
National Natural Science Foundation of China(61976141);Key Science and Technology Program of Hebei Educational Department(ZD2019021)

摘要/Abstract

摘要：

元学习即应用机器学习的方法（元算法）寻求问题的特征（元特征）与算法相对性能测度间的映射，从而形成元知识的学习过程，如何构建和提取元特征是其重要的研究内容。针对目前相关研究所用到的元特征大部分是数据的统计特征的问题，提出不确定性建模并研究不确定性对于学习系统的影响。根据样本的不一致性、边界的复杂性、模型输出的不确定性、线性可分度、属性的重叠度以及特征空间的不确定性，建立了六种数据或模型的不确定性元特征；同时，从不同角度衡量学习问题本身的不确定性大小，并给出了具体的定义。在大量分类问题的人工数据和真实数据集上实验分析了这些元特征之间的相关性，并使用K最近邻（KNN）等多个分类算法对元特征与测试精度之间的相关度进行初步分析。结果表明相关度平均在0.8左右，可见这些元特征对学习性能具有显著影响。

关键词: 元学习, 元特征, 不确定性度量, 相关性分析, 数据集特征

Abstract:

Meta-learning is the learning process of applying machine learning methods （meta-algorithms） to seek the mapping between features of a problem （meta-features） and relative performance measures of the algorithm， thereby forming the learning process of meta-knowledge. How to construct and extract meta-features is an important research content. Concerning the problem that most of meta-features used in the existing related researches are statistical features of data， uncertainty modeling was proposed and the impact of uncertainty on learning system was studied. Based on inconsistency of data， complexity of boundary， uncertainty of model output， linear capability to be classified， degree of attribute overlap， and uncertainty of feature space， six kinds of uncertainty meta-features were established for data or models. At the same time，the uncertainty size of the learning problem itself was measured from different perspectives， and specific definitions were given. The correlations between these meta-features were analyzed on artificial datasets and real datasets of a large number of classification problems， and multiple classification algorithms such as K-Nearest Neighbor （KNN） were used to conduct a preliminary analysis of the correlation between meta-features and test accuracy. Results show that the average degree of correlation is about 0.8， indicating that these meta-features have a significant impact on learning performance.

Key words: meta-learning, meta-feature, uncertainty measure, correlation analysis, characteristics of dataset

中图分类号:

TP18

李艳, 郭劼, 范斌. 元学习的不确定性特征构建及初步分析[J]. 计算机应用, 2022, 42(2): 343-348.

Yan LI, Jie GUO, Bin FAN. Feature construction and preliminary analysis of uncertainty for meta-learning[J]. Journal of Computer Applications, 2022, 42(2): 343-348.

图/表 7

参考文献 33

1	曾子林，张宏军，张睿，等.基于元学习思想的算法选择问题综述［J］.控制与决策， 2014， 29（6）： 961-968. 10.13195/j.kzyjc.2013.1297
	ZENG Z L， ZHANG H J， ZHANG R， et al. Summary of algorithm selection problem based on meta-learning［J］. Control and Decision， 2014， 29（6）： 961-968. 10.13195/j.kzyjc.2013.1297
2	AHA D W. Generalizing from case studies： a case study［M］// Machine Learning Proceedings 1992. San Francisco： Morgan Kaufmann， 1992： 1-10. 10.1016/b978-1-55860-247-2.50006-1
3	TATTI N. Distances between data sets based on summary statistics［J］. Journal of Machine Learning Research， 2007， 8： 131-154.
4	GNANADESIKAN R. Methods for Statistical Data Analysis of Multivariate Observations［M］. 2nd ed. New York： Wiley & Sons， Inc.， 1997： 139-220. 10.1002/9781118032671
5	HO T K， BASU M. Complexity measures of supervised classification problems［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（3）： 289-300. 10.1109/34.990132
6	BASU M， HO T K. Data Complexity in Pattern Recognition［M］. London： Springer， 2006： 48-66.
7	MACIÀ N， BERNADÓ-MANSILLA E， ORRIOLS-PUIG A， et al. Learner excellence biased by data set selection： a case for data characterisation and artificial data sets［J］. Pattern Recognition， 2013， 46（3）： 1054-1066. 10.1016/j.patcog.2012.09.022
8	BERNHARD P， HILAN B. Meta-learning by landmarking various learning algorithms ［C］// Proceedings of the 17th International Conference on Machine Learning. San Francisco： Morgan Kaufmann， 2000： 743-750.
9	WU X D， KUMAR V， QUINLAN J R， et al. Top 10 algorithms in data mining［J］. Knowledge and Information Systems， 2008， 14（1）： 1-37. 10.1007/s10115-007-0114-2
10	SUN M X， LIU K H， WU Q Q， et al. A novel ECOC algorithm for multiclass microarray data classification based on data complexity analysis［J］. Pattern Recognition， 2019， 90： 346-362. 10.1016/j.patcog.2019.01.047
11	VILALTA R， DRISSI Y. A perspective view and survey of meta-learning［J］. Artificial Intelligence Review， 2002， 18（2）： 77-95. 10.1023/a:1019956318069
12	GIRAUD-CARRIER C， VILALTA R， BRAZDIL P. Introduction to the special issue on meta-learning［J］ Machine Learning， 2004， 54（3）： 187-193. 10.1023/b:mach.0000015878.60765.42
13	BRAZDIL P， GIRAUD-CARRIER C. Metalearning and algorithm selection： progress， state of the art and introduction to the 2018 special issue［J］ Machine Learning， 2018， 107（1）： 1-14. 10.1007/s10994-017-5692-y
14	SMITH M R， MARTINEZ T， GIRAUD-CARRIER C. An instance level analysis of data complexity［J］. Machine Learning， 2014， 95（2）： 225-256. 10.1007/s10994-013-5422-z
15	HO T K. A data complexity analysis of comparative advantages of decision forest constructors［J］. Pattern Analysis and Applications， 2002， 5（2）： 102-112. 10.1007/s100440200009
16	BRODLEY C E. Recursive automatic bias selection for classifier construction［J］. Machine Learning， 1995， 20（1/2）： 63-94. 10.1007/bf00993475
17	SCHAFFER C. Technical Note： selecting a classification method by cross-validation［J］. Machine Learning， 1993， 13（1）： 135-143. 10.1007/bf00993106
18	GARCÍA S， LUENGO J， HERRERA F. Tutorial on practical tips of the most influential data preprocessing algorithms in data mining［J］. Knowledge-Based Systems， 2016， 98： 1-29. 10.1016/j.knosys.2015.12.006
19	XU X Z， LIANG T M， ZHU J， et al. Review of classical dimensionality reduction and sample selection methods for large-scale data processing［J］. Neurocomputing， 2019， 328： 5-15. 10.1016/j.neucom.2018.02.100
20	WANG X Z， XING H J， LI Y， et al. A study on relationship between generalization abilities and fuzziness of base classifiers in ensemble learning［J］. IEEE Transactions on Fuzzy Systems， 2015， 23（5）： 1638-1654. 10.1109/tfuzz.2014.2371479
21	SÁEZ J A， LUENGO J， HERRERA F. Predicting noise filtering efficacy with data complexity measures for nearest neighbor classification［J］. Pattern Recognition， 2013， 46（1）： 355-364. 10.1016/j.patcog.2012.07.009
22	LUENGO J， FERNÁNDEZ A， GARCÍA S， et al. Addressing data complexity for imbalanced data sets： analysis of SMOTE-based oversampling and evolutionary undersampling［J］. Soft Computing， 2011， 15（10）： 1909-1936. 10.1007/s00500-010-0625-8
23	SÁNCHEZ J S， MOLLINEDA R A， SOTOCA J M. An analysis of how training data complexity affects the nearest neighbor classifiers［J］. Pattern Analysis and Applications， 2007， 10（3）： 189-201. 10.1007/s10044-007-0061-2
24	CANO J R. Analysis of data complexity measures for classification［J］. Expert Systems with Applications， 2013， 40（12）： 4820-4831. 10.1016/j.eswa.2013.02.025
25	BRUN A L， BRITTO A S， OLIVEIRA L S， et al. Contribution of data complexity features on dynamic classifier selection ［C］// Proceedings of the 2016 International Joint Conference on Neural Networks. Piscataway： IEEE， 2016： 4396-4403. 10.1109/ijcnn.2016.7727774
26	LIU B D. Uncertainty Theory （Studies in Fuzziness and Soft Computing）［M］. 2nd ed. Berlin： Springer， 2007： 205-234.
27	LAI H L， ZHANG D X. Fuzzy preorder and fuzzy topology［J］. Fuzzy Sets and Systems， 2006， 157（14）： 1865-1885. 10.1016/j.fss.2006.02.013
28	PAL M. Random forest classifier for remote sensing classification［J］. International Journal of Remote Sensing， 2005， 26（1）： 217-222. 10.1080/01431160412331269698
29	WANG X Z， WANG R， XU C. Discovering the relationship between generalization and uncertainty by incorporating complexity of classification［J］. IEEE Transactions on Cybernetics， 2017， 48（2）： 703-715. 10.1109/tcyb.2017.2653223
30	SHARMA A， SINGH S K. Early classification of time series based on uncertainty measure ［C］// Proceedings of the 2019 IEEE Conference on Information and Communication Technology. Piscataway： IEEE， 2019： 1-6. 10.1109/cict48419.2019.9066213
31	SUN L， ZHANG X， QIAN Y， et al. Feature selection using neighborhood entropy-based uncertainty measures for gene expression data classification［J］. Information Sciences， 2019， 502： 18-41. 10.1016/j.ins.2019.05.072
32	XIAO F. A distance measure for intuitionistic fuzzy sets and its application to pattern classification problems［J］. IEEE Transactions on Systems， Man， and Cybernetics： Systems， 2019， 51（6）： 3980-3992. 10.1109/TSMC.2019.2958635
33	DE WAAL A， STEYN C. Uncertainty measurements in neural network predictions for classification tasks ［C］// Proceedings of the IEEE 23rd International Conference on Information Fusion. Piscataway： IEEE， 2020： 1-7. 10.23919/fusion45008.2020.9190221

数据集	不一致度	边界复杂度	输出不确定性	线性可分度	属性重叠度	特征空间不确定性	分类准确率
易分类数据集	0.020	0.040	-0.015	0.998	0.130	-0.190	0.998
不易分类数据集	0.257	0.214	-0.414	0.778	0.416	-0.534	0.808

数据集	不一致度	边界复杂度	输出不确定性	线性可分度	属性重叠度	特征空间不确定性	分类准确率
易分类数据集	0.020	0.040	-0.015	0.998	0.130	-0.190	0.998
不易分类数据集	0.257	0.214	-0.414	0.778	0.416	-0.534	0.808

不确定性度量	与分类结果相关度
不一致度	-0.70
边界复杂度	-0.97
输出不确定性	0.97
线性分类准确率	0.69
属性重叠度	-0.65
特征空间不确定性	0.72

不确定性度量	与分类结果相关度
不一致度	-0.70
边界复杂度	-0.97
输出不确定性	0.97
线性分类准确率	0.69
属性重叠度	-0.65
特征空间不确定性	0.72

不确定性度量	边界复杂度	输出不确定性	线性分类准确率	属性值重叠度	特征空间不确定性
不一致度	0.72	-0.71	-0.40	0.39	-0.54
边界复杂度	—	-0.98	-0.55	0.41	-0.65
输出不确定性	—	—	0.56	-0.42	0.65
线性分类准确率	—	—	—	-0.37	0.49
属性值重叠度	—	—	—	—	-0.44

元学习的不确定性特征构建及初步分析

Feature construction and preliminary analysis of uncertainty for meta-learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 33

相关文章 12

编辑推荐

Metrics

数据集	N_sample	N_cat	N_con	N_class
banknote	1 372	0	4	2
breastcancer	569	0	30	2
iris	150	0	4	3
Contraceptive Method Choice	1 473	7	2	3
housing	1 032	1	7	5
blood	748	0	4	2
diabetes	520	15	1	2
fertility	100	5	4	2
wine	178	0	13	3
mammographic masses	961	3	2	3
abalone	4 118	1	7	28
planning rest	182	0	13	2
seeds	210	0	7	3
teaching assistant evaluation	150	2	3	3
wifi localization	2 000	0	7	4

数据集	不一致度	边界复杂度	输出不确定性	线性可分度	属性重叠度	特征空间不确定性	分类准确率
abalone	0.415	0.483	-0.717	0.284	0.537	-0.746	0.335
Contraceptive Method Choice	0.284	0.303	-0.701	0.522	0.413	-0.498	0.582
housing	0.002	0.257	-0.350	0.669	0.316	-0.274	0.651
mammographic_masses（原始）	0.344	0.133	-0.511	0.235	0.277	-0.362	0.824
mammographic_masses（noise）	0.168	0.170	-0.614	0.728	0.439	-0.307	0.772
teaching assistant evaluation	0.319	0.245	-0.760	0.576	0.440	-0.529	0.543
Blood（原始）	0.107	0.166	-0.605	0.762	0.271	-0.415	0.803
Blood（noise）	0.187	0.207	-0.455	0.712	0.379	-0.392	0.745
breastcancer	0.110	0.019	-0.162	0.996	0.109	-0.088	0.967
banknote（原始）	0.000	0.001	-0.008	0.988	0.202	-0.138	0.999
banknote（noise）	0.095	0.069	-0.214	0.863	0.331	-0.363	0.883
diabetes	0.104	0.013	-0.203	0.948	0.139	-0.169	0.910
iris（原始）	0.013	0.040	-0.100	0.980	0.046	-0.563	0.980
iris（noise）	0.155	0.135	-0.269	0.845	0.227	-0.342	0.825
fertility	0.190	0.090	-0.428	0.880	0.284	-0.300	0.880
planning rest	0.280	0.176	-0.505	0.714	0.373	-0.325	0.714
seeds	0.229	0.024	-0.166	0.976	0.231	-0.254	0.929
wifi localization（原始）	0.000	0.008	-0.539	0.988	0.445	-0.273	0.982
wifi localization（noise）	0.130	0.122	-0.257	0.890	0.144	-0.176	0.848
wine	0.012	0.039	-0.132	1.000	0.004	-0.203	0.978

不确定性度量	与分类结果的相关度
不一致度	-0.717
输出的不确定性	0.975
边界复杂度	0.871
线性可分度	0.752
属性重叠度	-0.723
特征空间不确定性	0.720

[1]	魏淳武, 赵涓涓, 唐笑先, 强彦. 基于多时期蒸馏网络的随访数据知识提取方法[J]. 计算机应用, 2021, 41(10): 2871-2878.
[2]	王磊. 改进粗糙集属性约简结合K-means聚类的网络入侵检测方法[J]. 计算机应用, 2020, 40(7): 1996-2002.
[3]	曹堉, 王成, 王鑫, 高悦尔. 基于时空节点选择和深度学习的城市道路短时交通流预测[J]. 计算机应用, 2020, 40(5): 1488-1493.
[4]	孙忠凡, 周正华, 赵建伟. 基于空间元学习的放大任意倍的超分辨率重建方法[J]. 计算机应用, 2020, 40(12): 3471-3477.
[5]	张伍, 陈红梅. 基于核模糊粗糙集的高光谱波段选择算法[J]. 计算机应用, 2020, 40(1): 258-263.
[6]	吴沐阳, 刘峥, 王洋, 李云, 李涛. 基于指标相关性的网络运维质量评估模型[J]. 计算机应用, 2018, 38(9): 2535-2542.
[7]	崔建双, 刘晓婵, 杨美华, 李雯燕. 基于元学习推荐的优化算法自动选择框架与实证分析[J]. 计算机应用, 2017, 37(4): 1105-1110.
[8]	李晋, 钱旭. 基于双重鉴别相关性分析的图像识别算法[J]. 计算机应用, 2016, 36(3): 713-717.
[9]	谭阳唐德权唐钊轶. 基于人像图像的随机序列发生器[J]. 计算机应用, 2012, 32(06): 1623-1626.
[10]	李宗林胡光岷杨丹姚兴苗. DDoS攻击的全局异常相关检测方法[J]. 计算机应用, 2009, 29(11): 2952-2956.
[11]	夏文俊朱林户陆陶荣. 基于不确定性度量的证据组合方法[J]. 计算机应用, 2009, 29(08): 2257-2259.
[12]	李梅花; 王黎明; 许红涛. 利用抽样技术和元学习的分布式关联规则挖掘算法[J]. 计算机应用, 2006, 26(4): 872-874.