图对比学习引导的多视图聚类网络

doi:10.11772/j.issn.1001-9081.2023101481

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (10): 3267-3274.DOI: 10.11772/j.issn.1001-9081.2023101481

• 第40届CCF中国数据库学术会议(NDBC 2023) • 上一篇下一篇

图对比学习引导的多视图聚类网络

朱云华¹, 孔兵¹(), 周丽华¹, 陈红梅¹, 包崇明²

^1.云南大学信息学院，昆明 650504
^2.云南大学软件学院，昆明 650504

收稿日期:2023-10-30 修回日期:2023-12-07 接受日期:2023-12-26 发布日期:2024-10-15 出版日期:2024-10-10
通讯作者: 孔兵
作者简介:朱云华（1998—），男，重庆人，硕士研究生，CCF会员，主要研究方向：数据挖掘、多视图聚类
孔兵（1968—），男，云南昆明人，副教授，博士，主要研究方向：数据挖掘、机器学习、社会网络分析 kongbing@ynu.edu.cn
周丽华（1968—），女，云南华坪人，教授，博士，CCF会员，主要研究方向：数据挖掘、多视角学习、社会网络分析
陈红梅（1976—），女，重庆人，副教授，博士，CCF会员，主要研究方向：空间数据挖掘
包崇明（1971—），男，云南宣威人，助理研究员，硕士，主要研究方向：社会网络分析、机器学习。
基金资助:
国家自然科学基金资助项目(62062066);云南省基础研究计划项目(202201AS070015)

Multi-view clustering network guided by graph contrastive learning

Yunhua ZHU¹, Bing KONG¹(), Lihua ZHOU¹, Hongmei CHEN¹, Chongming BAO²

^1.School of Information Science and Engineering，Yunnan University，Kunming Yunnan 650504，China
^2.School of Software，Yunnan University，Kunming Yunnan 650504，China

Received:2023-10-30 Revised:2023-12-07 Accepted:2023-12-26 Online:2024-10-15 Published:2024-10-10
Contact: Bing KONG
About author:ZHU Yunhua， born in 1998， M. S. candidate. His research interests include data mining， multi-view clustering.
ZHOU Lihua， born in 1968， Ph. D.， professor. Her research interests include data mining， multi-view learning， social network analysis.
CHEN Hongmei， born in 1976， Ph. D.， associate professor. Her research interests include spatial data mining.
BAO Chongming， born in 1971， M. S.， assistant research fellow. His research interests include social network analysis， machine learning.
Supported by:
National Natural Science Foundation of China(62062066);Key Project of Yunnan Provincial Basic Research Plan(202201AS070015)

摘要/Abstract

摘要：

多视图聚类由于能从多个角度利用数据的信息引起了广泛的关注。然而，目前的多视图聚类算法普遍存在以下几个问题：1）专注数据的属性特征或结构特征，没有充分结合这两种信息，以提高潜在嵌入的质量；2）基于图神经网络的方法虽然能同时利用属性和结构数据，但是基于图卷积或图注意力的模型在网络层数过深时会产生过度平滑的问题。为了解决以上问题，提出一个图对比学习引导的多视图聚类网络（MCNGCL）。首先，使用多视图自编码器模块捕捉每个视图的私有表示；其次，通过自适应加权融合构造公共表示；再次，结合图对比学习模块，使相邻节点在聚类时更容易被划分为同簇，同时缓解网络在聚合邻居节点信息时产生的过度平滑的问题；最后，使用自监督聚类模块，使公共表示和视图的私有表示向有利于聚类的方向优化。实验结果表明，MCNGCL在多个数据集上都取得了不错的效果，在3sources数据集上，与次优的CMGEC（Consistent Multiple Graph Embedding for multi-view Clustering）相比，MCNGCL的准确率指标提升了2.83个百分点，规范化互信息（NMI）指标提升了3.70个百分点；消融实验和参数敏感性分析结果也验证了MCNGCL的有效性。

关键词: 多视图聚类, 对比学习, 表示学习, 自监督聚类, 深度学习

Abstract:

Multi-view clustering has attracted much attention due to its ability to utilize information from multiple perspectives. However， current multi-view clustering algorithms generally suffer from the following issues： 1） they focus on either attribute features or structural features of the data without fully integrating both to improve the quality of the latent embeddings； 2） methods based on graph neural networks can simultaneously utilize attribute and structural data， but the models based on graph convolution or graph attention tend to produce over-smoothed results when the network becomes too deep. To address these problems， a Multi-view Clustering Network guided by Graph Contrastive Learning （MCNGCL） was proposed. Firstly， the private representation of each view was captured using a multi-view autoencoder module. Secondly， a common representation was constructed through adaptively weighted fusion. Thirdly， the graph contrastive learning module was incorporated to make adjacent nodes more easily partitioned into the same cluster during clustering， while also alleviating the over-smoothing problem when aggregating neighbor node information. Finally， a self-supervised clustering module was used to optimize the common representation and private representations of views towards more favorable clustering directions. The experimental results demonstrate that MCNGCL achieves promising performance on multiple datasets. For instance， on the 3sources dataset， compared with the sub-optimal Consistent Multiple Graph Embedding for multi-view Clustering （CMGEC）， the accuracy of MCNGCL improved by 2.83 percentage points and the Normalized Mutual Information （NMI） improved by 3.70 percentage points. The effectiveness of MCNGCL was also confirmed by the results of ablation experiments and parameter sensitivity analysis.

Key words: multi-view clustering, contrastive learning, representation learning, self-supervised clustering, deep learning

中图分类号:

TP391

朱云华, 孔兵, 周丽华, 陈红梅, 包崇明. 图对比学习引导的多视图聚类网络[J]. 计算机应用, 2024, 44(10): 3267-3274.

Yunhua ZHU, Bing KONG, Lihua ZHOU, Hongmei CHEN, Chongming BAO. Multi-view clustering network guided by graph contrastive learning[J]. Journal of Computer Applications, 2024, 44(10): 3267-3274.

图/表 7

参考文献 32

1	YANG Y， WANG H. Multi-view clustering： a survey ［J］. Big Data Mining and Analytics， 2018， 1（2）： 83-107.
2	乔宇鑫，葛洪伟，宋鹏. 全局与局部结构学习的多视图子空间聚类算法［J］. 计算机科学与探索， 2023， 17（9）： 2107-2117.
	QIAO Y X， GE H W， SONG P. Global and local structure learning for multi-view subspace clustering ［J］. Journal of Frontiers of Computer Science and Technology， 2023， 17（9）： 2107-2117.
3	NIE F， LI J， LI X. Self-weighted multiview clustering with multiple graphs［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2017： 2564-2570.
4	YU S， TRANCHEVENT L， LIU X， et al. Optimized data fusion for kernel k-means clustering［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（5）： 1031-1039.
5	ZHANG C， LIU Y， FU H. AE²-Nets： autoencoder in autoencoder networks［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 2572-2580.
6	LIN Y， GOU Y， LIU Z， et al. COMPLETER： incomplete multi-view clustering via contrastive prediction［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 11169-11178.
7	KE G， HONG Z， ZENG Z， et al. CONAN： contrastive fusion networks for multi-view clustering［C］// Proceedings of the 2021 IEEE International Conference on Big Data. Piscataway： IEEE， 2021： 653-660.
8	FAN S， WANG X， SHI C， et al. One2Multi graph autoencoder for multi-view graph clustering［C］// Proceedings of the Web Conference 2020. New York： ACM， 2020： 3070-3076.
9	WANG Y， CHANG D， FU Z， et al. Consistent multiple graph embedding for multi-view clustering［J］. IEEE Transactions on Multimedia， 2023， 25： 1008-1018.
10	杜国王，周丽华，王丽珍，等. 基于两级权重的多视角聚类［J］. 计算机研究与发展， 2022， 59（4）： 907-921.
	DU G W， ZHOU L H， WANG L Z， et al. Multi-view clustering based on two-level weights ［J］. Journal of Computer Research and Development， 2022， 59（4）： 907-921.
11	谢胜利，陈泓达，高军礼，等. 基于分布对齐变分自编码器的深度多视图聚类［J］. 计算机学报， 2023， 46（5）： 945-959.
	XIE S L， CHEN H D， GAO J L， et al. Deep multi-view clustering based on distribution aligned variational autoencoder ［J］. Chinese Journal of Computers， 2023， 46（5）： 945-959.
12	ABAVISANI M， PATEL V M. Deep multimodal subspace clustering networks［J］. IEEE Journal of Selected Topics in Signal Processing， 2018， 12（6）： 1601-1614.
13	LI Z， WANG Q， TAO Z， et al. Deep adversarial multi-view clustering network［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2019： 2952-2958.
14	XU J， REN Y， LI G， et al. Deep embedded multi-view clustering with collaborative training［J］. Information Sciences， 2021， 573： 279-290.
15	LIU L， KANG Z， RUAN J， et al. Multilayer graph contrastive clustering network［J］. Information Sciences， 2022， 613： 256-267.
16	KULATILLEKE G K， PORTMANN M， CHANDRA S S. SCGC： self-supervised contrastive graph clustering ［EB/OL］. （2022-04-27）［2023-10-01］. .
17	VELIČKOVIĆ P， FEDUS W， HAMILTON W L， et al. Deep graph Infomax ［EB/OL］. （2018-12-21）［2023-10-01］. .
18	XU D， CHENG W， LUO D， et al. InfoGCL： information-aware graph contrastive learning［C］// Proceedings of the 35th International Conference on Neural Information Processing Systems. ［S.l.］： Neural Information Processing Systems Foundation， 2021： 30414-30425.
19	JING B， PARK C， TONG H. HDMI： high-order deep multiplex Infomax［C］// Proceedings of the Web Conference 2021. New York： ACM， 2021： 2414-2424.
20	ZHU Y， XU Y， YU F， et al. Deep graph contrastive representation learning ［EB/OL］. （2020-07-13）［2023-10-01］. .
21	XU J， TANG H， REN Y， et al. Multi-level feature learning for contrastive multi-view clustering［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 16030-16039.
22	PAN E， KANG Z. Multi-view contrastive graph clustering［C］//Proceedings of the 35th International Conference on Neural Information Processing Systems. New York： ACM， 2024： 2148-2159.
23	XIE J， GIRSHICK R， FARHADI A. Unsupervised deep embedding for clustering analysis［C］// Proceedings of the 33rd International Conference on Machine Learning. New York： JMLR.org， 2016： 478-487.
24	TU W， ZHOU S， LIU X， et al. Deep fusion clustering network［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2021： 9978-9987.
25	ZHANG C， HU Q， FU H， et al. Latent multi-view subspace clustering［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 4333-4341.
26	MI Y， DAI J， REN Z， et al. One-stage multi-view clustering with hierarchical attributes extraction［J］. Cognitive Computation， 2023， 15： 552-564.
27	XU J， REN Y， TANG H， et al. Self-supervised discriminative feature learning for deep multi-view clustering［J］. IEEE Transactions on Knowledge and Data Engineering， 2023， 35（7）： 7470-7482.
28	LI R， ZHANG C， FU H， et al. Reciprocal multi-layer subspace learning for multi-view clustering［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 8171-8179.
29	WANG H， YANG Y， LIU B. GMC： graph-based multi-view clustering［J］. IEEE Transactions on Knowledge and Data Engineering， 2019， 32（6）： 1116-1129.
30	TROSTEN D J， LØKSE S， JENSSEN R， et al. Reconsidering representation alignment for multi-view clustering［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 1255-1265.
31	LIN Z， KANG Z， ZHANG L， et al. Multi-view attributed graph clustering［J］. IEEE Transactions on Knowledge and Data Engineering， 2023， 35（2）： 1872-1880.
32	VAN DER MAATEN L， HINTON G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research， 2008， 9： 2579-2605.

数据集	类型	视图数	节点数	类别	维度
3sources	文本	3	169	6	3 560，3 631，3 068
BBCSport	文本	2	544	5	3 183，3 203
Caltech101-7	图像	6	1 474	7	48，40，254，1 984， 512，928
VOC	图像	2	5 649	20	599，319
Caltech101-all	图像	3	9 144	102	1 984，512，928
BDGP	图像、文本	2	2 500	5	1 750，79

数据集	类型	视图数	节点数	类别	维度
3sources	文本	3	169	6	3 560，3 631，3 068
BBCSport	文本	2	544	5	3 183，3 203
Caltech101-7	图像	6	1 474	7	48，40，254，1 984， 512，928
VOC	图像	2	5 649	20	599，319
Caltech101-all	图像	3	9 144	102	1 984，512，928
BDGP	图像、文本	2	2 500	5	1 750，79

方法	3sources		BBCSport		Caltech101-7		BDGP		VOC		Caltech101-all
方法	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI
LMSC	73.00	68.30	90.51	83.24	57.12	51.43	47.24	29.73	49.28	43.61	20.60	33.30
RMSL	58.90	54.07	97.60	91.70	63.96	47.42	81.06	72.64	47.70	44.80	24.58	33.73
SwMC	38.46	19.01	36.21	11.55	66.35	57.00	94.96	88.50	37.63	33.75	28.09	34.93
GMC	69.23	54.07	80.70	72.26	69.20	60.56	73.20	71.62	51.63	45.75	20.27	21.90
AE²-Nets	51.27	40.10	55.20	40.60	66.46	60.60	55.20	40.60	57.12	57.11	22.45	31.22
SiMVC	56.73	40.58	60.18	57.99	63.04	52.54	69.72	53.26	55.13	61.54	20.31	33.67
CONAN	62.18	47.78	76.52	68.67	67.70	46.41	67.62	61.93	62.16	62.11	24.61	34.25
CoMVC	67.34	52.91	75.11	69.05	71.92	56.49	80.68	67.39	61.86	67.48	19.68	39.29
CMGEC	79.60	68.37	97.60	92.30	54.61	60.83	96.72	90.30	60.53	57.17	23.73	34.63
MGCCN	72.13	65.76	94.15	88.41	74.13	57.90	88.08	87.92	67.10	61.26	26.22	37.64
MvAGC	58.58	55.11	64.95	47.17	65.40	57.97	98.04	93.94	59.32	55.35	24.67	40.42
MCNGCL	82.43	72.07	97.97	93.14	84.77	65.35	98.72	96.17	67.53	67.59	31.27	36.25

方法	3sources		BBCSport		Caltech101-7		BDGP		VOC		Caltech101-all
方法	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI
LMSC	73.00	68.30	90.51	83.24	57.12	51.43	47.24	29.73	49.28	43.61	20.60	33.30
RMSL	58.90	54.07	97.60	91.70	63.96	47.42	81.06	72.64	47.70	44.80	24.58	33.73
SwMC	38.46	19.01	36.21	11.55	66.35	57.00	94.96	88.50	37.63	33.75	28.09	34.93
GMC	69.23	54.07	80.70	72.26	69.20	60.56	73.20	71.62	51.63	45.75	20.27	21.90
AE²-Nets	51.27	40.10	55.20	40.60	66.46	60.60	55.20	40.60	57.12	57.11	22.45	31.22
SiMVC	56.73	40.58	60.18	57.99	63.04	52.54	69.72	53.26	55.13	61.54	20.31	33.67
CONAN	62.18	47.78	76.52	68.67	67.70	46.41	67.62	61.93	62.16	62.11	24.61	34.25
CoMVC	67.34	52.91	75.11	69.05	71.92	56.49	80.68	67.39	61.86	67.48	19.68	39.29
CMGEC	79.60	68.37	97.60	92.30	54.61	60.83	96.72	90.30	60.53	57.17	23.73	34.63
MGCCN	72.13	65.76	94.15	88.41	74.13	57.90	88.08	87.92	67.10	61.26	26.22	37.64
MvAGC	58.58	55.11	64.95	47.17	65.40	57.97	98.04	93.94	59.32	55.35	24.67	40.42
MCNGCL	82.43	72.07	97.97	93.14	84.77	65.35	98.72	96.17	67.53	67.59	31.27	36.25

模型	3sources		BBCSport		Caltech101-7		BDGP		VOC		Caltech101-all
模型	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI	ACC	NMI
CL-T	58.11	51.03	87.32	86.88	76.72	51.42	96.88	92.32	50.50	52.39	10.59	16.60
CL-A	73.85	62.80	88.38	84.61	80.12	63.29	97.16	93.51	51.41	52.90	21.68	23.71
CL-W	79.05	68.30	90.99	80.78	80.29	53.91	97.44	94.93	57.04	56.83	24.73	26.99
CL-C	81.43	71.45	94.76	88.69	82.07	60.55	98.22	95.49	61.76	60.54	27.75	30.41
CL	82.43	72.07	97.97	93.14	84.77	65.35	98.72	96.17	67.53	67.59	31.27	36.25

图对比学习引导的多视图聚类网络

Multi-view clustering network guided by graph contrastive learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 32

相关文章 15

编辑推荐

Metrics

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[3]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[4]	杨兴耀, 陈羽, 于炯, 张祖莲, 陈嘉颖, 王东晓. 结合自我特征和对比学习的推荐模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2704-2710.
[5]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[6]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[7]	杜郁, 朱焱. 构建预训练动态图神经网络预测学术合作行为消失[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2726-2731.
[8]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[9]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[10]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[11]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[12]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[13]	张郅, 李欣, 叶乃夫, 胡凯茜. 基于暗知识保护的模型窃取防御技术DKP[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2080-2086.
[14]	王清, 赵杰煜, 叶绪伦, 王弄潇. 统一框架的增强深度子空间聚类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1995-2003.
[15]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.