基于注意力机制的不完备多视图聚类算法

doi:10.11772/j.issn.1001-9081.2023121866

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (12): 3784-3789.DOI: 10.11772/j.issn.1001-9081.2023121866

基于注意力机制的不完备多视图聚类算法

杨成昊, 胡节(), 王红军, 彭博

西南交通大学计算机与人工智能学院，成都 611756

收稿日期:2024-01-08 修回日期:2024-03-14 接受日期:2024-03-15 发布日期:2024-03-22 出版日期:2024-12-10
通讯作者: 胡节
作者简介:杨成昊（1999—），男，四川成都人，硕士研究生，CCF会员，主要研究方向：深度学习、多视图聚类
王红军（1977—），男，四川成都人，副研究员，博士，CCF会员，主要研究方向：机器学习、数据挖掘
彭博（1980—），女，四川成都人，教授，博士，CCF会员，主要研究方向：图像分割、模式识别。
基金资助:
国家自然科学基金资助项目(62276216);四川省重点研发计划项目(2023YFG0354);2023年西南交通大学国际学生教育管理研究项目(23LXSGL01)

Incomplete multi-view clustering algorithm based on attention mechanism

Chenghao YANG, Jie HU(), Hongjun WANG, Bo PENG

School of Computing and Artificial Intelligence，Southwest Jiaotong University，Chengdu Sichuan 611756，China

Received:2024-01-08 Revised:2024-03-14 Accepted:2024-03-15 Online:2024-03-22 Published:2024-12-10
Contact: Jie HU
About author:YANG Chenghao， born in 1999， M. S. candidate. His research interests include deep learning， multi-view clustering.
WANG Hongjun， born in 1977， Ph. D.， associate research fellow. His research interests include machine learning， data mining.
PENG Bo， born in 1980， Ph. D.， professor. Her research interests include image segmentation， pattern recognition.
Supported by:
National Natural Science Foundation of China(62276216);Sichuan Science and Technology Program(2023YFG0354);International Student Education Management Research Project of Southwest Jiaotong University(23LXSGL01)

摘要/Abstract

摘要：

针对传统深度不完备多视图聚类算法中补全缺失视图数据的不确定性、嵌入学习鲁棒性的缺乏和模型泛化性低的问题，提出基于注意力机制的不完备多视图聚类算法（IMVCAM）。首先，通过K最近邻（KNN）算法补全了视图中缺失的数据，使训练数据具有互补性；其次，经过线性编码层后，将获得的嵌入通过注意力层，以提高嵌入的质量；最后，对每个视图训练得到的嵌入使用k均值聚类算法进行聚类，而视图的权重通过皮尔逊相关系数确定。在5个经典的数据集上的实验结果表明，在Fashion数据集上，IMVCAM取得最优的结果，相较于次优的深度安全不完整多视图聚类（DSIMVC）算法，在数据缺失率为0.1、0.3的情况下，IMVCAM的聚类准确率分别提升了2.85、4.35个百分点；此外，在Caltech101-20数据集上，IMVCAM相较于次优的基于自注意力融合的不完整多视图聚类算法（IMVCSAF），在数据缺失率为0.1、0.3的情况下的聚类准确率分别提升了7.68、3.48个百分点。所提算法能够有效应对多视图数据的不完备性和模型泛化性问题。

关键词: 不完备多视图聚类, K最近邻算法, 注意力机制, k均值聚类算法, 皮尔逊相关系数

Abstract:

In order to solve the problems of uncertainty in completing missing view data， lack of robustness of embedding learning and low model generalization in traditional deep incomplete multi-view clustering algorithms， an Incomplete Multi-View Clustering algorithm based on Attention Mechanism （IMVCAM） was proposed. Firstly， K-Nearest Neighbors （KNN） algorithm was used to complete the missing data in the view， making the training data complementary. Then， after passing the linear encoding layer， the obtained embedding was passed through the attention layer to improve the quality of the embedding. Finally， the embedding obtained from the training of each view was clustered using k-means clustering algorithm， and the weights of the views were determined by the Pearson correlation coefficient. Experimental results on five classic datasets show that， the optimal result was achieved by IMVCAM on Fashion dataset， compared with the sub-optimal Deep Safe Incomplete Multi-View Clustering （DSIMVC） algorithm， IMVCAM improves the clustering accuracy by 2.85 and 4.35 percentage points respectively when the data missing rate is 0.1 and 0.3. Besides， on Caltech101-20 dataset， the clustering accuracy of IMVCAM is increased by 7.68 and 3.48 percentage points respectively compared to that of the sub-optimal algorithm IMVCSAF （Incomplete Multi-View Clustering algorithm based on Self-Attention Fusion） when the missing rate is 0.1 and 0.3. The proposed algorithm can effectively deal with the incompleteness of multi-view data and the problem of model generalization.

Key words: incomplete multi-view clustering, K-Nearest Neighbors (KNN) algorithm, attention mechanism, k-means clustering algorithm, Pearson correlation coefficient

中图分类号:

TP391.4

杨成昊, 胡节, 王红军, 彭博. 基于注意力机制的不完备多视图聚类算法[J]. 计算机应用, 2024, 44(12): 3784-3789.

Chenghao YANG, Jie HU, Hongjun WANG, Bo PENG. Incomplete multi-view clustering algorithm based on attention mechanism[J]. Journal of Computer Applications, 2024, 44(12): 3784-3789.

图/表 6

图1 dk对聚类ACC的影响

Fig. 1 Influence of dk on clustering ACC

图2 不同缺失率时不同数据集上聚类结果的可视化

Fig. 2 Visualization of clustering results on different datasets with different missing rates

表1 符号说明

Tab. 1 Description of symbols

符号	描述
$x j'$	补全的数据
$C$	簇数
$y j (k)$	第 $j$ 个邻居在第 $k$ 个特征上的值
$W Q, W K, W V$	训练后用于聚类的嵌入
$d k$	键的维度
$S i$	第 $i$ 个视图所占聚类权重
$r i c$	第 $i$ 个样本隶属于第 $c$ 个簇指示变量
$μ c$	第 $c$ 个聚类中心

表1 符号说明

Tab. 1 Description of symbols

符号	描述
$x j'$	补全的数据
$C$	簇数
$y j (k)$	第 $j$ 个邻居在第 $k$ 个特征上的值
$W Q, W K, W V$	训练后用于聚类的嵌入
$d k$	键的维度
$S i$	第 $i$ 个视图所占聚类权重
$r i c$	第 $i$ 个样本隶属于第 $c$ 个簇指示变量
$μ c$	第 $c$ 个聚类中心

表2 实验数据集

Tab. 2 Datasets used in experiments

数据集	类别数	样本数	视图数
Caltech101-20^［18］	20	2 386	6
MNIST-USPS^［19］	10	5 000	2
BDGP^［20］	5	2 500	2
Fashion^［21］	10	10 000	3
Scene^［22］	15	4 485	2

表3 不同算法聚类结果的ACC和NMI比较 (%)

Tab. 3 Comparison of ACC and NMI in clustering results of different algorithms

缺失比例	算法	Caltech101-20		MNIST-USPS		BDGP		Fashion		Scene
缺失比例	算法	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI
10	CDIMC-net	55.68	52.24	52.23	61.45	80.47	70.08	51.00	62.52	37.68	40.72
	MKKM-IK	51.46	48.12	75.25	64.64	65.01	49.62	70.08	61.29	39.64	40.38
	EE-R-IMVC	52.28	55.47	75.07	64.27	62.28	43.82	72.83	65.78	37.56	38.21
	COMPLETER	66.67	63.33	96.87	93.94	40.91	33.19	78.63	82.23	46.35	49.52
	OS-LF-IMVC	56.75	52.14	62.29	49.14	82.78	60.25	62.54	52.36	37.42	38.66
	IMVCSAF	70.02	60.00	87.26	81.15	—	—	—	—	—	—
	DSIMVC	64.92	56.56	98.88	96.91	98.40	94.67	89.60	84.47	42.15	44.62
	本文算法	77.70	67.62	96.62	95.24	96.82	90.41	92.45	86.26	43.72	45.60
30	CDIMC-net	53.84	50.08	49.72	64.40	74.67	67.64	44.73	54.67	36.24	40.26
	MKKM-IK	49.85	47.54	64.44	52.01	59.80	35.22	59.96	50.52	38.45	39.96
	EE-R-IMVC	49.32	51.26	58.86	49.47	59.36	31.79	63.32	57.28	34.25	35.48
	COMPLETER	66.95	63.89	95.56	92.31	41.80	31.15	71.68	77.12	44.87	47.74
	OS-LF-IMVC	55.28	49.56	46.58	33.98	74.34	48.27	50.10	38.74	37.10	38.34
	IMVCSAF	70.33	60.83	86.12	78.21	—	—	—	—	—	—
	DSIMVC	62.92	53.74	97.89	94.50	96.93	90.34	87.47	81.76	39.56	43.16
	本文算法	73.81	64.60	96.38	94.11	96.25	89.84	91.82	84.55	40.53	42.81
50	CDIMC-net	47.56	42.25	47.97	56.62	67.71	54.51	42.10	44.85	32.85	38.47
	MKKM-IK	43.28	41.32	49.74	37.67	52.56	24.55	46.38	38.25	35.21	36.82
	EE-R-IMVC	40.66	51.38	45.58	34.15	42.48	21.39	51.16	43.50	33.10	32.11
	COMPLETER	68.44	67.39	93.66	90.51	41.54	32.62	70.76	74.76	39.50	42.35
	OS-LF-IMVC	50.37	46.34	32.83	22.22	59.71	30.56	37.47	30.04	33.67	34.23
	IMVCSAF	73.93	70.16	86.59	79.00	—	—	—	—	40.04	42.15
	DSIMVC	55.47	47.15	96.78	91.98	95.29	86.11	83.79	77.82	38.26	40.78
	本文算法	71.54	67.48	95.64	92.87	95.55	86.66	88.67	81.21	39.55	41.47
70	CDIMC-net	38.24	40.44	31.78	34.79	56.11	39.70	37.61	46.05	29.91	37.78
	MKKM-IK	36.58	37.76	35.70	24.68	46.84	14.58	29.84	20.64	29.40	34.75
	EE-R-IMVC	36.45	46.52	28.02	16.97	34.85	11.87	20.24	14.61	30.24	31.84
	COMPLETER	62.22	56.67	83.80	81.18	39.63	24.47	69.33	70.23	36.21	41.72
	OS-LF-IMVC	46.55	43.86	23.70	13.96	45.34	18.54	27.67	19.98	31.36	33.18
	IMVCSAF	65.56	53.26	77.64	86.57	—	—	—	—	—	—
	DSIMVC	41.92	34.38	93.34	85.64	92.14	79.37	75.51	71.53	35.78	39.45
	本文算法	64.64	65.42	93.78	88.74	93.28	81.17	80.71	72.67	36.88	40.20

表3 不同算法聚类结果的ACC和NMI比较 (%)

Tab. 3 Comparison of ACC and NMI in clustering results of different algorithms

缺失比例	算法	Caltech101-20		MNIST-USPS		BDGP		Fashion		Scene
缺失比例	算法	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI
10	CDIMC-net	55.68	52.24	52.23	61.45	80.47	70.08	51.00	62.52	37.68	40.72
	MKKM-IK	51.46	48.12	75.25	64.64	65.01	49.62	70.08	61.29	39.64	40.38
	EE-R-IMVC	52.28	55.47	75.07	64.27	62.28	43.82	72.83	65.78	37.56	38.21
	COMPLETER	66.67	63.33	96.87	93.94	40.91	33.19	78.63	82.23	46.35	49.52
	OS-LF-IMVC	56.75	52.14	62.29	49.14	82.78	60.25	62.54	52.36	37.42	38.66
	IMVCSAF	70.02	60.00	87.26	81.15	—	—	—	—	—	—
	DSIMVC	64.92	56.56	98.88	96.91	98.40	94.67	89.60	84.47	42.15	44.62
	本文算法	77.70	67.62	96.62	95.24	96.82	90.41	92.45	86.26	43.72	45.60
30	CDIMC-net	53.84	50.08	49.72	64.40	74.67	67.64	44.73	54.67	36.24	40.26
	MKKM-IK	49.85	47.54	64.44	52.01	59.80	35.22	59.96	50.52	38.45	39.96
	EE-R-IMVC	49.32	51.26	58.86	49.47	59.36	31.79	63.32	57.28	34.25	35.48
	COMPLETER	66.95	63.89	95.56	92.31	41.80	31.15	71.68	77.12	44.87	47.74
	OS-LF-IMVC	55.28	49.56	46.58	33.98	74.34	48.27	50.10	38.74	37.10	38.34
	IMVCSAF	70.33	60.83	86.12	78.21	—	—	—	—	—	—
	DSIMVC	62.92	53.74	97.89	94.50	96.93	90.34	87.47	81.76	39.56	43.16
	本文算法	73.81	64.60	96.38	94.11	96.25	89.84	91.82	84.55	40.53	42.81
50	CDIMC-net	47.56	42.25	47.97	56.62	67.71	54.51	42.10	44.85	32.85	38.47
	MKKM-IK	43.28	41.32	49.74	37.67	52.56	24.55	46.38	38.25	35.21	36.82
	EE-R-IMVC	40.66	51.38	45.58	34.15	42.48	21.39	51.16	43.50	33.10	32.11
	COMPLETER	68.44	67.39	93.66	90.51	41.54	32.62	70.76	74.76	39.50	42.35
	OS-LF-IMVC	50.37	46.34	32.83	22.22	59.71	30.56	37.47	30.04	33.67	34.23
	IMVCSAF	73.93	70.16	86.59	79.00	—	—	—	—	40.04	42.15
	DSIMVC	55.47	47.15	96.78	91.98	95.29	86.11	83.79	77.82	38.26	40.78
	本文算法	71.54	67.48	95.64	92.87	95.55	86.66	88.67	81.21	39.55	41.47
70	CDIMC-net	38.24	40.44	31.78	34.79	56.11	39.70	37.61	46.05	29.91	37.78
	MKKM-IK	36.58	37.76	35.70	24.68	46.84	14.58	29.84	20.64	29.40	34.75
	EE-R-IMVC	36.45	46.52	28.02	16.97	34.85	11.87	20.24	14.61	30.24	31.84
	COMPLETER	62.22	56.67	83.80	81.18	39.63	24.47	69.33	70.23	36.21	41.72
	OS-LF-IMVC	46.55	43.86	23.70	13.96	45.34	18.54	27.67	19.98	31.36	33.18
	IMVCSAF	65.56	53.26	77.64	86.57	—	—	—	—	—	—
	DSIMVC	41.92	34.38	93.34	85.64	92.14	79.37	75.51	71.53	35.78	39.45
	本文算法	64.64	65.42	93.78	88.74	93.28	81.17	80.71	72.67	36.88	40.20

表4 Fashion数据集上的消融实验结果 (%)

Tab. 4 Results of ablation experiments on Fashion dataset

KNN	Attention	Pearson	ACC	NMI
√			56.84	55.73
	√		82.32	75.98
		√	49.38	48.25
	√	√	82.41	76.29
√	√		88.12	79.48
√	√	√	88.67	81.21

参考文献 25

1	徐光生，王士同. 基于双重低秩分解的不完整多视图子空间学习［J］. 智能系统学报， 2022， 17（6）： 1084-1092.
	XU G S， WANG S T. Incomplete multi-view subspace learning based on dual low-rank decomposition［J］. CAAI Transactions on Intelligent Systems， 2022， 17（6）： 1084-1092.
2	LIU X. Incomplete multiple kernel alignment maximization for clustering ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2024， 46（3）： 1412-1424.
3	LIU X， LI M， TANG C， et al. Efficient and effective regularized incomplete multi-view clustering ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（8）： 2634-2646.
4	WEN J， SUN H， FEI L， et al. Consensus guided incomplete multi-view spectral clustering［J］. Neural Networks， 2021， 133： 207-219.
5	ZHANG Y， LIU X， WANG S， et al. One-stage incomplete multi-view clustering via late fusion ［C］// Proceedings of the 29th ACM International Conference on Multimedia. New York： ACM， 2021： 2717-2725.
6	LIANG N， YANG Z， XIE S. Incomplete multi-view clustering with sample-level auto-weighted graph fusion ［J］. IEEE Transactions on Knowledge and Data Engineering， 2023， 35（6）： 6504-6511.
7	崔金荣，黄诚. 改进的自步深度不完备多视图聚类［J］. 数据采集与处理， 2022， 37（5）： 1036-1048.
	CUI J R， HUANG C. Improved self-paced deep incomplete multi-view clustering［J］. Journal of Data Acquisition and Processing， 2022， 37（5）： 1036-1048.
8	LIN Y， GOU Y， LIU X， et al. Dual contrastive prediction for incomplete multi-view representation learning［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 45（4）： 4447-4461.
9	WEN J， ZHANG Z， XU Y， et al. CDIMC-net： cognitive deep incomplete multi-view clustering network［C］// Proceedings of the 29th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2020： 3230-3236.
10	LIN Y， GOU Y， LIU Z， et al. COMPLETER： incomplete multi-view clustering via contrastive prediction ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 11169-11178.
11	XU J， LI C， REN Y， et al. Deep incomplete multi-view clustering via mining cluster complementarity ［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2022： 8761-8769.
12	李顺勇，李师毅，胥瑞，等.基于自注意力融合的不完整多视图聚类算法［J］. 计算机应用， 2024， 44（9）：2696-2703.
	LI S Y， LI S Y， XU R， et al. Incomplete multi-view clustering algorithm based on self-attention fusion［J］. Journal of Computer Applications， 2024， 44（9）：2696-2703.
13	SEDGWICK P. Pearson's correlation coefficient ［J］. BMJ， 2012， 345： No.e4483.
14	AHMED M， SERAJ R， ISLAM S M S. The k‑means algorithm： a comprehensive survey and performance evaluation［J］. Electronics， 2020， 9（8）： No.1295.
15	UDDIN S， HAQUE I， LU H， et al. Comparative performance analysis of K-Nearest Neighbour （KNN） algorithm and its different variants for disease prediction ［J］. Scientific Reports， 2022， 12： No.6256.
16	BRAUWERS G， FRASINCAR F. A general survey on attention mechanisms in deep learning［J］. IEEE Transactions on Knowledge and Data Engineering， 2023， 35（4）： 3279-3298.
17	FANG U， LI M， LI J， et al. A comprehensive survey on multi-view clustering ［J］. IEEE Transactions on Knowledge and Data Engineering， 2023， 35（12）： 12350-12368.
18	LI Y， NIE F， HUANG H， et al. Large-scale multi-view spectral clustering via bipartite graph ［C］// Proceedings of the 29th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2015： 2750-2756.
19	TZENG E， HOFFMAN J， SAENKO K， et al. Adversarial discriminative domain adaptation ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2962-2971.
20	CAI X， WANG H， HUANG H， et al. Joint stage recognition and anatomical annotation of drosophila gene expression patterns ［J］. Bioinformatics， 2012， 28（12）： i16-i24.
21	ZOU X， KONG X， WONG W， et al. FashionAI： a hierarchical dataset for fashion understanding ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2019： 296-304.
22	ZHOU B， ZHAO H， PUIG X， et al. Scene parsing through ADE20K dataset ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5122-5130.
23	TANG H， LIU Y. Deep safe incomplete multi-view clustering： theorem and algorithm ［C］// Proceedings of the 39th International Conference on Machine Learning. New York： JMLR.org， 2022： 21090-21110.
24	VAN DER MAATEN L， HINTON G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research， 2008， 9： 2579-2605.
25	LI Y F， ZHOU Z H. Towards making unlabeled data never hurt［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（1）： 175-188.

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[3]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[4]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[5]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[6]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[7]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[8]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[9]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.
[10]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[11]	毛典辉, 李学博, 刘峻岭, 张登辉, 颜文婧. 基于并行异构图和序列注意力机制的中文实体关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2018-2025.
[12]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[13]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[14]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[15]	魏文亮, 王阳萍, 岳彪, 王安政, 张哲. 基于光照权重分配和注意力的红外与可见光图像融合深度学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2183-2191.

基于注意力机制的不完备多视图聚类算法

Incomplete multi-view clustering algorithm based on attention mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 25

相关文章 15

编辑推荐

Metrics