基于谱分析的无监督特征选择算法

doi:10.3724/SP.J.1087.2011.02108

计算机应用 ›› 2011, Vol. 31 ›› Issue (08): 2108-2110.DOI: 10.3724/SP.J.1087.2011.02108

基于谱分析的无监督特征选择算法

潘锋¹,²,王建东¹,牛奔²

1. 南京航空航天大学计算机科学与技术学院，南京210016
2. 深圳大学管理学院，广东深圳518060

收稿日期:2011-02-15 修回日期:2011-04-13 发布日期:2011-08-01 出版日期:2011-08-01
通讯作者: 潘锋
作者简介:潘锋(1977-)，男，河南正阳人，讲师，博士研究生，主要研究方向：数据挖掘、机器学习；王建东(1945-)，男，江苏南京人，教授，博士生导师，主要研究方向：数据挖掘、机器学习、知识工程；牛奔(1980-)，男，安徽全椒人，副教授，博士，主要研究方向：智能系统、人工生命。
基金资助:
国家自然科学基金资助项目(60803092);广东省自然科学基金资助项目(9151170003000017)

Unsupervised feature selection approach based on spectral analysis

Feng PAN¹,²,Jiang-dong WANG¹,Ben NIU²

1. College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing Jiangsu 210016, China
2. College of Management, Shenzhen University, Shenzhen Guangdong 518060, China

Received:2011-02-15 Revised:2011-04-13 Online:2011-08-01 Published:2011-08-01
Contact: Feng PAN

摘要/Abstract

摘要： 为提高无监督状态下特征选择的准确度，基于图谱理论证明了标准化Laplacian矩阵前K个最小特征值分布表现了簇结构的可识别性，使用谱分析方法指导无监督特征选择，提出了特征重要度排序算法。对大容量数据集特征选择，应用Nystrm方法降低时间复杂度。实验结果表明，使用该算法与使用主流无监督特征选择方法及全部特征相比能得到更高的聚类性能评分。

关键词: 数据挖掘, 聚类算法, 无监督学习, 谱分析, 特征选择

Abstract: To improve the performance of feature selection under the unsupervised scenario, the relationship between the distribution of the first K minimal eigenvalues for a normalized graph Laplacian matrix and the structure of the clusters was identified, and a new feature selection algorithm based on the spectral analysis was proposed. The feature selection algorithm might be time-consuming; hence the Nystrm method was applied to reduce the computational cost of the eigen-decomposition. The experiments on synthetic and real-world data sets show the efficiency of the proposed approach.

Key words: data mining, cluster algorithm, unsupervised learning, spectral analysis, feature selection

中图分类号:

TP18
TP301.6

潘锋王建东牛奔. 基于谱分析的无监督特征选择算法[J]. 计算机应用, 2011, 31(08): 2108-2110.

Feng PAN Jiang-dong WANG Ben NIU. Unsupervised feature selection approach based on spectral analysis[J]. Journal of Computer Applications, 2011, 31(08): 2108-2110.

参考文献

[1] DASH M. Dimensionality reduction of unsupervised data [C]// Proceedings of the Ninth IEEE International Conference on Tools with Artificial Intelligence. Washington, DC: IEEE Computer Society, 1997: 532-539.

[2] DY J G, BRODLEY C E. Feature subset selection and order identification for unsupervised learning [C]// Proceedings of the Seventeenth International Conference on Machine Learning. San Francisco: Morgan Kaufmann Publishers, 2000: 247-254.

[3] RODRIGUEZ-LUJAN I, HUERTA R. Quadratic programming feature selection [J]. Journal of Machine Learning Research, 2010, 11: 1491-1516.

[4] SHI J, MALIK J. Normalized cuts and image segmentation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888-905.

[5] BELABBAS M A, WOLFE P J. Spectral methods in machine learning and new strategies for very large datasets [J]. Proceedings of the National Academy of Sciences, 2009, 106(2):369-374.

[6] von LUXBURG U. A tutorial on spectral clustering [J]. Statistics and Computing, 2007, 17(4): 395-416.

[7] FOWLKES C, BELONGIE S, CHUNG F, et al. Spectral grouping using the Nystrm method [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(2):214-225.

[8] TSAI C Y, CHIU C C. An efficient feature selection approach for clustering: Using a Gaussian mixture model of data dissimilarity [C]// 2007 International Conference on Computational Science and its Applications. Berlin: Springer-Verlag, 2007: 1107-1118.

[9] HE XIAO-FEI, CAI DENG, NIYOGI P. Laplacian score for feature selection [C]// Advances in Neural Information Processing Systems 18. Cambridge, MA: MIT Press, 2006: 507-514.

[10] MITRA P. Unsupervised feature selection using feature similarity [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(3):301-312.

[11] VARSHAVSKY R. Novel unsupervised feature filtering of biological data [J]. Bioinformatics, 2006, 22(14):507-513.

[1]	贾洁茹, 杨建超, 张硕蕊, 闫涛, 陈斌. 基于自蒸馏视觉Transformer的无监督行人重识别[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2893-2902.
[2]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[3]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[4]	董瑶, 付怡雪, 董永峰, 史进, 陈晨. 不完整多视图聚类综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1673-1682.
[5]	雷明珠, 王浩, 贾蓉, 白琳, 潘晓英. 基于特征间关系合成少数类样本的过采样算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1428-1436.
[6]	高麟, 周宇, 邝得互. 进化双层自适应局部特征选择[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1408-1414.
[7]	夏吾吉, 黄鹤鸣, 更藏措毛, 范玉涛. 基于无监督学习和监督学习的抽取式文本摘要综述[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1035-1048.
[8]	徐大鹏, 侯新民. 基于网络结构设计的图神经网络特征选择方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 663-670.
[9]	孟圣洁, 于万钧, 陈颖. 最大相关和最大差异的高维数据特征选择算法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 767-771.
[10]	孙林, 刘梦含. 基于自适应布谷鸟优化特征选择的K-means聚类[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 831-841.
[11]	江锐, 刘威, 陈成, 卢涛. 非对称端到端的无监督图像去雨网络[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 922-930.
[12]	杨克帅, 武优西, 耿萌, 刘靖宇, 李艳. 一次性条件下top-k高平均效用序列模式挖掘算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 477-484.
[13]	刘晶鑫, 黄雯静, 徐亮胜, 黄冲, 吴建生. 字典学习与样本关联保持结合的无监督特征选择模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3766-3775.
[14]	杨成昊, 胡节, 王红军, 彭博. 基于注意力机制的不完备多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3784-3789.
[15]	赵培, 乔焰, 胡荣耀, 袁新宇, 李敏悦, 张本初. 基于多域特征提取的多变量时间序列异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3419-3426.

基于谱分析的无监督特征选择算法

Unsupervised feature selection approach based on spectral analysis

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics