图正则化弹性网子空间聚类

doi:10.11772/j.issn.1001-9081.2024050651

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (5): 1464-1471.DOI: 10.11772/j.issn.1001-9081.2024050651

• 人工智能 • 上一篇

图正则化弹性网子空间聚类

郭书剑¹^,², 余节约¹^,²(), 尹学松¹^,²

^1.杭州电子科技大学人文艺术与数字媒体学院，杭州 310037
^2.杭州电子科技大学温州研究院，浙江温州 325038

收稿日期:2024-05-22 修回日期:2024-09-13 接受日期:2024-09-26 发布日期:2024-10-08 出版日期:2025-05-10
通讯作者: 余节约
作者简介:郭书剑（1999—），女，河北保定人，硕士研究生，主要研究方向：机器学习、数据挖掘
余节约（1969—），男，山东菏泽人，教授，博士，主要研究方向：图像处理、色彩管理
尹学松（1975—），男，安徽长丰人，教授，博士，主要研究方向：机器学习、数据挖掘、图像处理。
基金资助:
浙江省公益技术应用研究项目(LGG22F020032);温州市基础性公益科研项目(G2023093)

Graph regularized elastic net subspace clustering

Shujian GUO¹^,², Jieyue YU¹^,²(), Xuesong YIN¹^,²

^1.School of Media and Design，Hangzhou Dianzi University，Hangzhou Zhejiang 310037，China
^2.Wenzhou Institute of Hangzhou Dianzi University，Wenzhou Zhejiang 325038，China

Received:2024-05-22 Revised:2024-09-13 Accepted:2024-09-26 Online:2024-10-08 Published:2025-05-10
Contact: Jieyue YU
About author:GUO Shujian， born in 1999， M. S. candidate. Her research interests include machine learning， data mining.
YU Jieyue， born in 1969， Ph. D.， professor. His research interests include image processing， color management.
YIN Xuesong， born in 1975， Ph. D.， professor. His research interests include machine learning， data mining， image processing.
Supported by:
Public-Welfare Technology Application Research Project of Zhejiang Province(LGG22F020032);Basic Public-Welfare Research Project of Wenzhou(G2023093)

摘要/Abstract

摘要：

基于图的子空间聚类（SC）已成为有效处理高维数据的流行技术。然而，现有方法存在以下问题：构建的图忽略了与聚类建立关联以及无法捕捉数据的内在相关结构。为了解决上述问题，提出一个新的SC方法——图正则化弹性网子空间聚类（GENSC）。GENSC使用L₂范数正则化强化具有相关结构的样本之间的连通性，并使用L₁范数正则化摒弃不同子空间的样本之间的连通性；同时，构建表征的最近邻图捕捉样本之间的内在局部结构，并增加秩约束以鼓励所学习的图具有清晰的聚类结构。GENSC将L₂范数、L₁范数和秩约束刻画到一个一般的框架中，并提出一个迭代的优化算法来求解该框架。在9个真实数据集上与现有方法进行比较的实验结果表明，在ChinaCXRSet上，GENSC的精确度（Accuracy）和归一化互信息（NMI）值分别超出次优方法9.03和7.61个百分点，聚类纯度（Purity）达到最好；在UMIST上，GENSC的精确度、NMI和Purity值分别超出次优方法4.15、3.17和5.21个百分点，验证了GENSC的有效性。

关键词: 机器学习, 子空间聚类, 图正则化, 弹性网, 秩约束

Abstract:

Graph-based Subspace Clustering （SC） has become a popular technique for processing high-dimensional data efficiently. However， existing methods suffer from the following problems： the constructed graph neglects to establish associations with clustering and fails to capture intrinsic correlated structure of the data. To address these issues， a new SC method was proposed， called Graph regularized Elastic Net Subspace Clustering （GENSC）. GENSC employed L₂ norm regularization to enhance the connectivity among samples with the correlated structure， and utilized L₁ norm regularization to discard the connectivity among samples from different subspaces. Simultaneously， a nearest neighbor graph of the representation was constructed to capture the intrinsic local structure among samples， and a rank constraint was incorporated to encourage the learned graph to have clear clustering structure. GENSC integrated L₂ norm， L₁ norm， and rank constraint into a general framework which was solved by an iterative optimization algorithm. Experimental results on nine real-world datasets demonstrate that on ChinaCXRSet， the accuracy and Normalized Mutual Information （NMI） values of GENSC exceeded the second-best method by 9.03 and 7.61 percentage points， respectively， and the clustering Purity reached the best； on UMIST， the accuracy， NMI， and Purity values of GENSC exceeded the second-best method by 4.15， 3.17 and 5.21 percentage points， respectively， validating the effectiveness of GENSC.

Key words: machine learning, subspace clustering, graph regularization, elastic net, rank constraint

中图分类号:

TP181

郭书剑, 余节约, 尹学松. 图正则化弹性网子空间聚类[J]. 计算机应用, 2025, 45(5): 1464-1471.

Shujian GUO, Jieyue YU, Xuesong YIN. Graph regularized elastic net subspace clustering[J]. Journal of Computer Applications, 2025, 45(5): 1464-1471.

图/表 6

参考文献 29

1	张琦，郑伯川，张征，等. 基于随机分块的稀疏子空间聚类方法［J］. 计算机应用， 2022， 42（4）： 1148-1154.
	ZHANG Q， ZHENG B C， ZHANG Z， et al. Sparse subspace clustering method based on random blocking［J］. Journal of Computer Applications， 2022， 42（4）： 1148-1154.
2	LIU G， LIN Z， YAN S， et al. Robust recovery of subspace structures by low-rank representation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（1）： 171-184.
3	任奇泽，贾洪杰，陈东宇. 融合局部结构学习的大规模子空间聚类算法［J］. 计算机应用， 2023， 43（12）： 3747-3754.
	REN Q Z， JIA H J， CHEN D Y. Large-scale subspace clustering algorithm with local structure learning［J］. Journal of Computer Applications， 2023， 43（12）： 3747-3754.
4	ELHAMIFAR E， VIDAL R. Sparse subspace clustering： algorithm， theory， and applications［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（11）： 2765-2781.
5	BAI L， LIANG J Y. Sparse subspace clustering with entropy-norm［C］// Proceedings of the 37th International Conference on Machine Learning. New York： ACM， 2020： 561-568.
6	BRBIĆ M， KOPRIVA I. l₀-Motivated low-rank sparse subspace clustering［J］. IEEE Transactions on Cybernetics， 2020， 50（4）： 1711-1725.
7	PANAGAKIS Y， KOTROPOULOS C. Elastic net subspace clustering applied to pop/rock music structure analysis［J］. Pattern Recognition Letters， 2014， 38： 46-53.
8	XU Y， CHEN S， LI J， et al. Linearity-aware subspace clustering［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2022： 8770-8778.
9	DYER E L， STUDER C， BARANIUK R G. Subspace clustering with dense representations［C］// Proceedings of the 2013 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2013： 3258-3262.
10	郑毅，马盈仓，杨小飞. 基于可靠邻居与精确簇数的稀疏子空间聚类［J］. 计算机应用研究， 2021， 38（1）： 75-82.
	ZHENG Y， MA Y C， YANG X F. Sparse subspace clustering based on reliable neighbors and exact cluster number［J］. Application Research of Computers， 2021， 38（1）： 75-82.
11	LIU G， YAN S. Latent low-rank representation for subspace segmentation and feature extraction［C］// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2011： 1615-1622.
12	VIDAL R， FAVARO P. Low Rank Subspace Clustering （LRSC）［J］. Pattern Recognition Letters， 2014， 43： 47-61.
13	WEN J， FANG X， XU Y， et al. Low-rank representation with adaptive graph regularization［J］. Neural Networks， 2018， 108： 83-96.
14	LI H， XU T， WU X J， et al. LRRNet： a novel representation learning guided fusion network for infrared and visible images［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（9）： 11040-11052.
15	XIAO S， LI W， XU D， et al. FaLRR： a fast low rank representation solver［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 4612-4620.
16	刘明明，羊远灿，杨研博，等. 面向矩阵秩函数准确估计的自表示子空间聚类方法［J］. 计算机应用研究， 2024， 41（1）： 72-75， 158.
	LIU M M， YANG Y C， YANG Y B， et al. Low rank subspace clustering algorithm based on accurate estimation for matrix rank function［J］. Application Research of Computers， 2024， 41（1）： 72-75， 158.
17	LU C Y， MIN H， ZHAO Z Q. Robust and efficient subspace segmentation via least squares regression［C］// Proceedings of the 2012 European Conference on Computer Vision， LNCS 7578. Berlin： Springer， 2012： 347-360.
18	WEI L， ZHANG F， CHEN Z， et al. Subspace clustering via adaptive least square regression with smooth affinities［J］. Knowledge-Based Systems， 2022， 239： No.107950.
19	ZHUANG L， GAO H， LIN Z， et al. Non-negative low rank and sparse graph for semi-supervised learning［C］// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2012： 2328-2335.
20	XU J， YU M， SHAO L， et al. Scaled simplex representation for subspace clustering［J］. IEEE Transactions on Cybernetics， 2021， 51（3）： 1493-1505.
21	KOU S， YIN X， WANG Y， et al. Structure-aware subspace clustering［J］. IEEE Transactions on Knowledge and Data Engineering， 2023， 35（10）： 10569-10582.
22	FENG J， LIN Z， XU H， et al. Robust subspace segmentation with block-diagonal prior［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 3818-3825.
23	NIE F， WANG X， JORDAN M I， et al. The constrained Laplacian rank algorithm for graph-based clustering［C］// Proceedings of the 30th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2016： 1969-1976.
24	ZOU H， HASTIE T. Regularization and variable selection via the elastic net［J］. Journal of the Royal Statistical Society Series B： Statistical Methodology， 2005， 67（2）： 301-320.
25	VON LUXBURG U. A tutorial on spectral clustering［J］. Statistics and Computing， 2007， 17（4）： 395-416.
26	NIE F， ZHU W， LI X. Unsupervised feature selection with structured graph optimization［C］// Proceedings of the 30th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2016： 1302-1308.
27	FAN K. On a theorem of Weyl concerning eigenvalues of linear transformations Ⅰ［J］. Proceedings of the National Academy of Sciences of the United States of America， 1949， 35（11）： 652-655.
28	LIN Z， CHEN M， MA Y. The augmented Lagrange multiplier method for exact recovery of corrupted low-rank matrices［EB/OL］. ［2023-12-10］..
29	YOU C， LI C G， ROBINSON D P， et al. Oracle based active set algorithm for scalable elastic net subspace clustering［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 3928-3937.

数据集		样本量n	特征量d	类别数
医学图像	Lung	203	3 312	5
	Carml	174	9 182	11
	Tuberculosis	635	1 024	2
	ChinaCXRSet	662	4 096	2
	CLL_SUB	111	11 340	3
对象图像	ORL	400	1 024	40
	Grimace	360	4 096	18
	Zoo	101	16	7
	UMIST	575	644	20

数据集		样本量n	特征量d	类别数
医学图像	Lung	203	3 312	5
	Carml	174	9 182	11
	Tuberculosis	635	1 024	2
	ChinaCXRSet	662	4 096	2
	CLL_SUB	111	11 340	3
对象图像	ORL	400	1 024	40
	Grimace	360	4 096	18
	Zoo	101	16	7
	UMIST	575	644	20

算法	Lung	ORL	Grimace	Carml	Tuberculosis	Zoo	UMIST	ChinaCXRSet	CLL_SUB
LRR	68.47	73.00	98.05	77.58	76.22	75.24	55.13	77.03	54.95
SSC	86.70	50.50	90.00	77.01	73.85	54.45	28.00	67.67	53.15
LSR	86.21	70.75	91.11	77.58	76.22	78.21	56.34	68.42	40.54
SSCE	86.70	64.75	91.66	78.16	76.22	77.22	58.95	77.03	55.85
EnSC	87.19	68.75	84.16	73.56	76.22	75.24	60.86	77.03	54.05
ALSR	62.06	64.5	91.11	81.03	76.22	66.33	54.26	75.52	54.95
l₀-LRSSC	79.80	71.00	92.22	84.16	76.22	78.21	55.13	77.03	55.85
LASC	67.98	71.32	83.61	67.93	52.12	50.59	23.13	52.41	47.74
SSRSC	79.31	64.75	91.66	78.73	76.22	71.28	49.73	77.03	56.75
GENSC	89.66	79.25	99.16	81.03	78.74	83.17	69.39	86.06	57.66

算法	Lung	ORL	Grimace	Carml	Tuberculosis	Zoo	UMIST	ChinaCXRSet	CLL_SUB
LRR	68.47	73.00	98.05	77.58	76.22	75.24	55.13	77.03	54.95
SSC	86.70	50.50	90.00	77.01	73.85	54.45	28.00	67.67	53.15
LSR	86.21	70.75	91.11	77.58	76.22	78.21	56.34	68.42	40.54
SSCE	86.70	64.75	91.66	78.16	76.22	77.22	58.95	77.03	55.85
EnSC	87.19	68.75	84.16	73.56	76.22	75.24	60.86	77.03	54.05
ALSR	62.06	64.5	91.11	81.03	76.22	66.33	54.26	75.52	54.95
l₀-LRSSC	79.80	71.00	92.22	84.16	76.22	78.21	55.13	77.03	55.85
LASC	67.98	71.32	83.61	67.93	52.12	50.59	23.13	52.41	47.74
SSRSC	79.31	64.75	91.66	78.73	76.22	71.28	49.73	77.03	56.75
GENSC	89.66	79.25	99.16	81.03	78.74	83.17	69.39	86.06	57.66

算法	Lung	ORL	Grimace	Carml	Tuberculosis	Zoo	UMIST	ChinaCXRSet	CLL_SUB
LRR	51.57	86.33	98.26	77.39	20.83	61.82	72.13	22.93	26.30
SSC	66.98	62.60	94.93	78.06	17.16	49.52	38.60	9.20	18.06
LSR	64.42	79.67	96.60	76.69	20.83	78.32	73.30	10.05	14.79
SSCE	67.65	80.08	95.62	76.29	20.83	80.07	74.15	22.29	13.41
EnSC	64.72	85.28	93.38	78.31	20.83	68.03	78.91	22.29	25.79
ALSR	49.29	79.64	95.26	78.86	20.83	56.36	70.09	19.71	26.41
l₀-LRSSC	55.94	82.67	92.53	92.49	20.83	74.99	71.01	22.29	34.12
LASC	19.16	85.11	46.02	37.72	16.47	46.06	30.71	16.41	15.31
SSRSC	51.34	80.08	95.98	77.24	20.83	68.61	62.85	22.29	20.59
GENSC	72.48	88.90	98.97	79.09	26.17	84.54	83.24	30.54	34.25

图正则化弹性网子空间聚类

Graph regularized elastic net subspace clustering

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 29

相关文章 15

编辑推荐

Metrics

算法	Lung	ORL	Grimace	Carml	Tuberculosis	Zoo	UMIST	ChinaCXRSet	CLL_SUB
LRR	70.44	76.00	98.05	82.75	76.22	77.22	61.39	77.03	54.95
SSC	92.11	56.50	91.66	78.12	73.85	67.32	38.78	67.67	53.15
LSR	87.68	95.79	93.33	82.18	76.22	84.15	62.08	68.42	53.15
SSCE	90.64	97.48	92.77	82.18	76.22	86.13	65.73	77.03	55.85
EnSC	91.62	75.00	88.88	80.45	76.22	78.21	72.00	77.03	54.05
ALSR	88.17	67.75	92.50	82.75	76.22	74.25	59.65	75.52	54.95
l₀-LRSSC	85.71	74.00	92.22	88.61	76.22	84.15	60.69	77.03	55.85
LASC	73.39	69.58	37.22	38.50	52.12	60.39	26.95	52.41	53.15
SSRSC	82.26	67.50	92.77	82.75	76.22	84.15	55.30	77.03	56.75
GENSC	93.60	98.66	99.16	85.05	78.74	87.13	77.21	80.06	58.66

数据集	精确度			NMI
数据集	λ₁≠0，λ₂≠0	λ₃≠0	λ₄≠0	λ₁≠0，λ₂≠0	λ₃≠0	λ₄≠0
Lung	89.16	87.19	84.72	71.28	67.94	59.85
ORL	77.25	62.75	47.25	88.59	73.69	54.25
Zoo	84.15	52.47	70.29	81.64	58.77	66.28
UMIST	63.08	42.43	38.61	82.36	54.83	40.02
Carml	80.45	67.81	71.84	78.44	71.28	70.26
Grimace	98.05	79.72	84.72	98.26	87.14	59.85

[1]	朱俊屹, 常雷雷, 徐晓滨, 郝智勇, 于海跃, 姜江. 基于最小先验知识的自监督学习方法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1035-1041.
[2]	洪梓榕, 包广清. 基于集成学习的雷达自动目标识别综述[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 371-382.
[3]	区卓越, 邓秀勤, 陈磊. 基于加权锚点的自适应多视图互补聚类算法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 115-126.
[4]	王清, 赵杰煜, 叶绪伦, 王弄潇. 统一框架的增强深度子空间聚类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1995-2003.
[5]	陈学斌, 任志强, 张宏扬. 联邦学习中的安全威胁与防御措施综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1663-1672.
[6]	姚梓豪, 栗远明, 马自强, 李扬, 魏良根. 基于机器学习的多目标缓存侧信道攻击检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1862-1871.
[7]	佘维, 李阳, 钟李红, 孔德锋, 田钊. 基于改进实数编码遗传算法的神经网络超参数优化[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 671-676.
[8]	郑毅, 廖存燚, 张天倩, 王骥, 刘守印. 面向城区的基于图去噪的小区级RSRP估计方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 855-862.
[9]	张卓, 陈花竹. 基于一致性和多样性的多尺度自表示学习的深度子空间聚类[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 353-359.
[10]	李博, 黄建强, 黄东强, 王晓英. 基于异构平台的稀疏矩阵向量乘自适应计算优化[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3867-3875.
[11]	陈学斌, 屈昌盛. 面向联邦学习的后门攻击与防御综述[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3459-3469.
[12]	孙仁科, 皇甫志宇, 陈虎, 李仲年, 许新征. 神经架构搜索综述[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 2983-2994.
[13]	柴汶泽, 范菁, 孙书魁, 梁一鸣, 刘竟锋. 深度度量学习综述[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 2995-3010.
[14]	尹春勇, 周永成. 双端聚类的自动调整聚类联邦学习[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3011-3020.
[15]	崔昊阳, 张晖, 周雷, 杨春明, 李波, 赵旭剑. 有序规范实数对多相似度K最近邻分类算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2673-2678.