基于自注意力融合的不完整多视图聚类算法

doi:10.11772/j.issn.1001-9081.2023091253

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (9): 2696-2703.DOI: 10.11772/j.issn.1001-9081.2023091253

基于自注意力融合的不完整多视图聚类算法

李顺勇¹, 李师毅¹^,², 胥瑞¹, 赵兴旺²()

^1.山西大学数学科学学院，太原 030006
^2.山西大学计算机与信息技术学院（大数据学院），太原 030006

收稿日期:2023-09-12 修回日期:2023-10-31 接受日期:2023-11-02 发布日期:2023-11-23 出版日期:2024-09-10
通讯作者: 赵兴旺
作者简介:李顺勇（1975—），男，山西大同人，教授，博士，主要研究方向：统计机器学习、数据挖掘
李师毅（1999—），男，山西长治人，博士研究生，主要研究方向：机器学习、数据挖掘
胥瑞（1996—），女，山西运城人，硕士研究生，主要研究方向：统计机器学习、数据挖掘
赵兴旺（1984—），男，山西晋中人，副教授，博士，CCF会员，主要研究方向：机器学习、数据挖掘。
基金资助:
国家自然科学基金资助项目(61976128);山西省基础研究计划项目(202303021221054);山西省研究生教育教学改革课题(2022YJJG010)

Incomplete multi-view clustering algorithm based on self-attention fusion

Shunyong LI¹, Shiyi LI¹^,², Rui XU¹, Xingwang ZHAO²()

^1.School of Mathematical Sciences，Shanxi University，Taiyuan Shanxi 030006，China
^2.School of Computer and Information Technology （School of Big Data），Shanxi University，Taiyuan Shanxi 030006，China

Received:2023-09-12 Revised:2023-10-31 Accepted:2023-11-02 Online:2023-11-23 Published:2024-09-10
Contact: Xingwang ZHAO
About author:LI Shunyong， born in 1975， Ph. D.， professor. His research interests include statistical machine learning， data mining.
LI Shiyi， born in 1999， Ph. D. candidate. His research interests include machine learning， data mining.
XU Rui， born in 1996， M. S. candidate. Her research interests include statistical machine learning， data mining.
Supported by:
National Natural Science Foundation of China(61976128);Fundamental Research Program of Shanxi Province(202303021221054);Shanxi Province Graduate Education and Teaching Reform Project(2022YJJG010)

摘要/Abstract

摘要：

基于不完整数据的多视图聚类任务已经成为无监督学习领域的研究热点之一。然而大多数基于“浅层”模型的多视图聚类算法通常在面对大规模高维数据时难以提取和刻画视图内的潜在特征结构；同时，堆叠或求平均的多视图信息融合方式忽视了视图之间的差异性，没有充分考虑各视图对构建公共一致表示的不同贡献。针对以上问题，提出一种基于自注意力融合的不完整多视图聚类算法（IMVCSAF）。首先，基于深度自编码器提取各视图的潜在特征，并采用对比学习的方式最大化各视图间的一致性信息；其次，采用自注意力机制对各视图的潜在表示进行重新编码和融合，并全面考虑和挖掘不同视图之间的内在因果性和特征互补性；再次，基于公共一致表示对缺失实例样本的潜在表示进行预测和恢复，从而完整地实现多视图聚类的过程。在Scene-15、LandUse-21、Caltech101-20和Noisy-MNIST数据集上的实验结果表明，IMVCSAF在满足收敛性要求的前提下得到的准确率均高于其他对比算法，而在50%缺失率的Noisy-MNIST数据集上，IMVCSAF的准确率比次优的COMPLETER（inCOMPlete muLti-view clustEring via conTrastivE pRediction）算法提高了6.58个百分点。

关键词: 多视图聚类, 自注意力, 互信息, 表示学习, 深度学习

Abstract:

Multi-view clustering task based on incomplete data has become one of the research hotspots in the field of unsupervised learning. However， most multi-view clustering algorithms based on “shallow” models often find it difficult to extract and characterize potential feature structures within views when dealing with large-scale high-dimensional data. At the same time， the stacking or averaging methods of multi-view information fusion ignore the differences between views and does not fully consider the different contributions of each view to building a common consensus representation. To address the above issues， an Incomplete Multi-View Clustering algorithm based on Self-Attention Fusion （IMVCSAF） was proposed. Firstly， the potential features of each view were extracted on the basis of a deep autoencoder， and the consistency information among views was maximized by using contrastive learning. Secondly， a self-attention mechanism was adopted to recode and fuse the potential representations of each view， and the inherent causality as well as feature complementarity between different views was considered and mined comprehensively. Thirdly， based on the common consensus representation， the potential representation of missing instance was predicted and recovered， thereby fully implementing the process of multi-view clustering. Experimental results on Scene-15， LandUse-21， Caltech101-20 and Noisy-MNIST datasets show that， the accuracy of IMVCSAF is higher than those of other comparison algorithms while meeting the convergence requirements. On Noisy-MNIST dataset with 50% miss rate， the accuracy of IMVCSAF is 6.58 percentage points higher than that of the second best algorithm — COMPETER （inCOMPlete muLti-view clustEring via conTrastivE pRediction）.

Key words: multi-view clustering, self-attention, mutual information, representation learning, deep learning

中图分类号:

TP391

李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 计算机应用, 2024, 44(9): 2696-2703.

Shunyong LI, Shiyi LI, Rui XU, Xingwang ZHAO. Incomplete multi-view clustering algorithm based on self-attention fusion[J]. Journal of Computer Applications, 2024, 44(9): 2696-2703.

图/表 13

图1 不完整多视图数据的形式

Fig. 1 Form of incomplete multi-view data

图2 IMVCSAF流程

Fig. 2 Flow of IMVCSAF

表1 实验数据集

Tab. 1 Experimental datasets

数据集	类别数	样本数	视图	维度
Caltech101-20	20	2 386	HOG	1 984
Caltech101-20	20	2 386	GIST	512
LandUse-21	21	2 100	PHOG	59
LandUse-21	21	2 100	LBP	40
Scene-15	15	4 485	PHOG	59
Scene-15	15	4 485	GIST	20
Noisy-MNIST	10	20 000	视图1	784
Noisy-MNIST	10	20 000	视图2	784

表2 50%缺失率数据上的实验对比 (%)

Tab. 2 Experimental comparison on data with 50% miss rate

算法	Caltech101-20			LandUse-21			Scene-15			Noisy-MNIST
算法	ACC	NMI	ARI	ACC	NMI	ARI	ACC	NMI	ARI	ACC	NMI	ARI
AE²Nets	33.61	49.20	24.99	19.22	23.03	5.75	27.88	31.35	13.93	38.67	33.79	19.99
PVC	41.42	56.53	31.00	21.33	23.14	8.10	25.61	25.31	11.25	35.97	27.74	16.99
DAIMC	44.63	59.53	32.70	19.30	19.45	5.80	23.60	21.88	9.44	34.44	27.15	16.42
EERIMVC	40.66	51.38	27.91	22.14	25.18	9.10	33.10	32.11	15.91	54.97	44.91	35.94
DCCA	38.59	52.51	29.81	14.08	20.02	3.38	31.83	33.19	14.93	61.82	60.55	37.71
CPM-GAN	41.42	55.89	33.74	19.02	21.58	6.11	27.30	27.18	11.93	—	—	—
PIC	57.53	64.32	45.22	23.60	26.52	9.45	38.70	37.98	21.16	—	—	—
COMPLETER	68.44	67.39	75.44	22.16	27.00	10.39	39.50	42.35	23.51	80.01	75.23	70.66
IMVCSAF	73.93	70.16	85.16	22.19	27.92	11.24	40.04	42.15	23.94	86.59	79.00	76.57

表3 完整数据上的实验对比 (%)

Tab. 3 Experimental comparison on complete data

算法	Caltech101-20			LandUse-21			Scene-15			Noisy-MNIST
算法	ACC	NMI	ARI	ACC	NMI	ARI	ACC	NMI	ARI	ACC	NMI	ARI
AE²Nets	49.10	65.38	35.66	24.79	30.36	10.35	36.10	40.39	22.08	56.98	46.83	36.98
PVC	44.91	62.13	35.77	25.22	30.45	11.72	30.83	31.05	14.98	41.94	33.90	22.93
DAIMC	45.48	61.79	32.40	24.35	29.35	10.26	32.09	33.55	17.42	39.18	35.69	23.65
EERIMVC	43.28	55.04	30.42	24.92	29.57	12.24	39.60	38.99	22.06	65.47	57.69	49.54
DCCA	41.89	59.14	33.39	15.51	23.15	4.43	36.18	38.92	20.87	85.53	89.44	81.87
CPM-GAN	43.18	62.00	34.57	22.34	29.18	9.49	30.87	31.54	15.27	—	—	—
PIC	62.27	67.93	51.56	24.86	29.74	10.48	38.72	40.46	22.12	—	—	—
COMPLETER	70.18	68.06	77.88	25.63	31.73	13.05	41.07	44.68	24.78	89.08	88.86	85.47
IMVCSAF	77.07	72.80	89.55	26.82	33.64	14.05	41.26	45.36	25.86	92.42	87.40	84.06

图3 Caltech101-20数据集上不同缺失率下的性能比较

Fig. 3 Performance comparison under different miss rates on Caltech101-20 dataset

图4 Noisy-MNIST数据集上不同缺失率下的性能比较

Fig. 4 Performance comparison under different miss rates on Noisy-MNIST dataset

图5 Caltech101-20数据集上的模型损失项参数分析

Fig. 5 Model loss term parameter analysis on Caltech101-20 dataset

图6 信息熵平衡参数α的敏感度分析

Fig. 6 Sensitivity analysis of information entropy balance parameter α

表4 消融实验结果 (%)

Tab. 4 Ablation experimental results

$L c l$	$L r e c$	$L r e c o v e r$	ACC	NMI	ARI
√			58.62	63.21	58.73
	√		32.07	36.69	19.30
		√	43.11	32.66	31.59
	√	√	52.65	57.94	45.80
√	√		60.48	63.15	62.42
√		√	66.55	68.67	70.87
√	√	√	73.93	70.16	85.16

表4 消融实验结果 (%)

Tab. 4 Ablation experimental results

$L c l$	$L r e c$	$L r e c o v e r$	ACC	NMI	ARI
√			58.62	63.21	58.73
	√		32.07	36.69	19.30
		√	43.11	32.66	31.59
	√	√	52.65	57.94	45.80
√	√		60.48	63.15	62.42
√		√	66.55	68.67	70.87
√	√	√	73.93	70.16	85.16

图7 Noisy-MNIST数据集的数据分布

Fig. 7 Data distribution of Noisy MNIST dataset

图8 聚类可视化结果

Fig. 8 Clustering visualization results

图9 不同数据集上的收敛曲线

Fig. 9 Convergence curves on different datasets

参考文献 35

1	CHAO G， SUN S， BI J. A survey on multiview clustering ［J］. IEEE Transactions on Artificial Intelligence， 2021， 2（2）： 146-168.
2	YAN M， LI Y， HU P， et al. Robust multi-view clustering with incomplete information ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（1）： 1055-1069.
3	劳景欢，黄栋，王昌栋，等. 基于视图互信息加权的多视图集成聚类算法［J］. 计算机应用， 2023， 43（6）： 1713-1718.
	LAO J H， HUANG D， WANG C D， et al. Multi-view ensemble clustering algorithm based on view-wise mutual information weighting ［J］. Journal of Computer Applications， 2023， 43（6）： 1713-1718.
4	XU J， TANG H， REN Y， et al. Multi-level feature learning for contrastive multi-view clustering ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 16030-16039.
5	PAN E， ZHAO K. Multi-view contrastive graph clustering ［C］// Proceedings of the 35th Conference on Neural Information Processing Systems.Red Hook： Curran Associates Inc.， 2021： 2148-2159.
6	何子仪，杨燕，张熠玲. 深度融合多视图聚类网络［J］. 计算机应用， 2023， 43（9）： 2651-2656.
	HE Z Y， YANG Y， ZHANG Y L. Multi-view clustering network with deep fusion ［J］. Journal of Computer Applications， 2023， 43（9）： 2651-2656.
7	XU J， REN Y， LI G， et al. Deep embedded multi-view clustering with collaborative training ［J］. Information Sciences， 2021， 573： 279-290.
8	ZHANG C， CUI Y， HAN Z， et al. Deep partial multi-view learning［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（5）： 2402-2415.
9	LU R K， LIU J W， ZUO X. Attentive multi-view deep subspace clustering net ［J］. Neurocomputing， 2021， 435： 186-196.
10	LI S Y， JIANG Y， ZHOU Z H. Partial multi-view clustering ［C］// Proceedings of the 28th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2014： 1968-1974.
11	ZHAO H， LIU H， FU Y. Incomplete multi-modal visual data grouping ［C］// Proceedings of the 25th International Joint Conference on Artificial Intelligence. California： IJCAI.org， 2016： 2392-2398.
12	WEN J， ZHANG Z， ZHANG Z， et al. Unified tensor framework for incomplete multi-view clustering and missing-view inferring［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2021： 10273-10281.
13	XIA W， GAO Q， WANG Q， et al. Tensorized bipartite graph learning for multi-view clustering ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（4）： 5187-5202.
14	LIU Z， CHEN Z， LI Y， et al. IMC-NLT： incomplete multi-view clustering by NMF and low-rank tensor ［J］. Expert Systems with Applications， 2023， 221： No.119742.
15	XU C， GUAN Z， ZHAO W， et al. Adversarial incomplete multi-view clustering ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. California： IJCAI.org， 2019： 3933-3939.
16	WANG Q， DING Z， TAO Z， et al. Partial multi-view clustering via consistent GAN ［C］// Proceedings of the 2018 IEEE International Conference on Data Mining. Piscataway： IEEE， 2018： 1290-1295.
17	WEN J， ZHANG Z， XU Y， et al. CDIMC-Net： cognitive deep incomplete multi-view clustering network ［C］// Proceedings of the 29th International Joint Conference on Artificial Intelligence. California： IJCAI.org， 2020： 3230-3236.
18	LIN Y， GOU Y， LIU Z， et al. COMPLETER： incomplete multi-view clustering via contrastive prediction ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 11169-11178.
19	CHEN T， KORNBLITH S， NOROUZI M， et al. A simple framework for contrastive learning of visual representations ［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR.org， 2020： 1597-1607.
20	HE K， FAN H， WU Y， et al. Momentum contrast for unsupervised visual representation learning ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 9726-9735.
21	VAN DEN OORD A， LI Y， VINYALS O. Representation learning with contrastive predictive coding ［EB/OL］. （2019-01-22）［2023-04-13］. .
22	MacQEEN J. Some methods for classification and analysis of multivariate observations ［C］// Proceedings of the 5th Berkeley Symposium on Mathematical Statistics and Probability， Volume 1： Statistics. Oakland， CA： Regents of the University of California， 1967： 281-297.
23	MNIH V， HEESS N， GRAVES A， et al. Recurrent models of visual attention ［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems — Volume 2. Cambridge： MIT Press， 2014： 2204-2212.
24	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
25	LI F F， PERONA P. A Bayesian hierarchical model for learning natural scene categories ［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition — Volume 2. Piscataway： IEEE， 2005： 524-531.
26	YANG Y， NEWSAM S. Bag-of-visual-words and spatial extensions for land-use classification ［C］// Proceedings of the 18th SIGSPATIAL International Conference on Advances in Geographic Information Systems. New York： ACM， 2010： 270-279.
27	LI Y， NIE F， HUANG H， et al. Large-scale multi-view spectral clustering via bipartite graph ［C］// Proceedings of the 29th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2015： 2750-2756.
28	WANG W， ARORA R， LIVESCU K， et al. On deep multi-view representation learning ［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 1083-1092.
29	ZHANG C， LIU Y， FU H. AE²-Nets： autoencoder in autoencoder networks ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 2572-2580.
30	ANDREW G， ARORA R， BILMES J， et al. Deep canonical correlation analysis ［C］// Proceedings of the 30th International Conference on Machine Learning. New York： JMLR.org， 2013： 1247-1255.
31	HU M， CHEN S. Doubly aligned incomplete multi-view clustering［C］// Proceedings of the 27th International Joint Conference on Artificial Intelligence. California： IJCAI.org， 2018： 2262-2268.
32	WANG H， ZONG L， LIU B， et al. Spectral perturbation meets incomplete multi-view data ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. California： IJCAI.org， 2019： 3677-3683.
33	LIU X， LI M， TANG C， et al. Efficient and effective regularized incomplete multi-view clustering ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（8）： 2634-2646.
34	TIAN Y， SUN C， POOLE B， et al. What makes for good views for contrastive learning ［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2020： 6827-6839.
35	VAN DER MAATEN L， HINTON G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research， 2008， 9：2579-2605.

[1]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[2]	杜郁, 朱焱. 构建预训练动态图神经网络预测学术合作行为消失[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2726-2731.
[3]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[4]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[5]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[6]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[7]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[8]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[9]	杨帆, 邹窈, 朱明志, 马振伟, 程大伟, 蒋昌俊. 基于图注意力Transformer神经网络的信用卡欺诈检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2634-2642.
[10]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[11]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[12]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[13]	张郅, 李欣, 叶乃夫, 胡凯茜. 基于暗知识保护的模型窃取防御技术DKP[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2080-2086.
[14]	王清, 赵杰煜, 叶绪伦, 王弄潇. 统一框架的增强深度子空间聚类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1995-2003.
[15]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.

基于自注意力融合的不完整多视图聚类算法

Incomplete multi-view clustering algorithm based on self-attention fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 35

相关文章 15

编辑推荐

Metrics