基于One-Shot聚合自编码器的图表示学习

doi:10.11772/j.issn.1001-9081.2021101860

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (1): 8-14.DOI: 10.11772/j.issn.1001-9081.2021101860

所属专题：人工智能

基于One-Shot聚合自编码器的图表示学习

袁立宁¹, 刘钊²

1.中国人民公安大学信息网络安全学院，北京 100038
2.中国人民公安大学研究生院，北京 100038

收稿日期:2021-11-02 修回日期:2021-12-15 发布日期:2021-12-31
通讯作者: 刘钊（1981—），男，北京人，讲师，博士，主要研究方向：机器学习、计算机视觉。liuzhao@ppsuc.edu.cn
作者简介:袁立宁（1995—），男，河北唐山人，硕士研究生，CCF会员，主要研究方向：机器学习、图神经网络；；
基金资助:
中央高校基本科研业务费专项（2019JKF425）；国家重点研发计划项目（2020YFC1522600）。

Graph representation learning by autoencoder with one-shot aggregation

YUAN Lining¹, LIU Zhao²

1.School of Information and Cyber Security， People’s Public Security University of China， Beijing 100038， China
2.Graduate School， People’s Public Security University of China， Beijing 100038， China

Received:2021-11-02 Revised:2021-12-15 Online:2021-12-31
Contact: LIU Zhao， born in 1981， Ph. D.， lecturer. His research interests include machine learning， computer vision.
About author:YUAN Lining， born in 1995， M. S. candidate. His research interests include machine learning， graph neural network；
Supported by:
This work is partially supported by Fundamental Research Funds for the Central Universities （2019JKF425）， National Key Research and Development Program of China （2020YFC1522600）.

摘要/Abstract

摘要： 自编码器（AE）是一种高效的图数据表示学习模型，但大多数图自编码器（GAE）为浅层模型，其效率会随着隐藏层的增加而降低。针对上述问题，提出基于One-Shot聚合（OSA）和指数线性（ELU）函数的GAE模型OSA-GAE和图变分自编码器模型OSA-VGAE。首先，利用多层图卷积网络（GCN）构建编码器，并引入OSA和ELU函数；然后，在解码阶段使用内积解码器恢复图的拓扑结构；此外，为了防止模型训练过程中的参数过拟合，在损失函数中引入正则化项。实验结果表明，OSA和ELU函数可以有效提高深层GAE的性能，改善模型的梯度信息传递。在使用6层GCN时，基准引文数据集PubMed的链接预测任务中，深层OSA-VGAE相较于原始的VGAE在ROC曲线下的面积（AUC）和平均精度（AP）上分别提升了8.67和6.85个百分点，深层OSA-GAE相较于原始的GAE在AP和AUC上分别提升了6.82和4.39个百分点。

关键词: 自编码器, 图自编码器, 图卷积网络, One-Shot聚合, 链接预测

Abstract: AutoEncoder （AE） is an efficient learning model for graph data representation， but most of the Graph AutoEncoders （GAEs） are shallow models， their efficiencies decrease with the increase of hidden layers. Aiming at the above problems， a new GAE model OSA-GAE and a new Variational Graph AutoEncoder OSA-VGAE were proposed based on One-Shot Aggregation （OSA） and Exponential Linear Unit （ELU）. Firstly， the encoder was constructed by a multi-layer Graph Convolutional Network （GCN）， and OSA and ELU function were introduced. Then， the topology of the graph was recovered by the inner product decoder in the decoding stage. In addition， a regularization term was introduced to the loss function in order to prevent parameter overfitting during the model training process. Experimental results show that OSA and ELU function can improve the performance and gradient information transmission of the deep GAEs. In the link prediction task of benchmark citation dataset PubMed， when using 6-layer GCN， deep OSA-VGAE improves Area Under ROC Curve （AUC） and Average Precision （AP） by 8.67 and 6.85 percentage points respectively compared to the original VGAE， and deep OSA-GAE improves AP and AUC by 6.82 and 4.39 percentage points respectively compared to the original GAE.

Key words: AutoEncoder (AE), Graph AutoEncoder (GAE), Graph Convolutional Network (GCN), One-Shot Aggregation (OSA), link prediction

中图分类号:

TP183

袁立宁, 刘钊. 基于One-Shot聚合自编码器的图表示学习[J]. 计算机应用, 2023, 43(1): 8-14.

YUAN Lining, LIU Zhao. Graph representation learning by autoencoder with one-shot aggregation[J]. Journal of Computer Applications, 2023, 43(1): 8-14.

参考文献

1 BHAGAT S， CORMODE G， MUTHUKRISHNAN S. Node classification in social networks［M］// AGGARWAL C. Social Network Data Analytics. Boston： Springer， 2011：115-148. 10.1007/978-1-4419-8462-3_5
2 刘昱阳，李龙杰，单娜，等. 融合聚集系数的链接预测方法［J］. 计算机应用， 2020， 40（1）： 28-35. 10.11772/j.issn.1001-9081.2019061008 LIU Y Y， LI L J， SHAN N， et al. Link prediction method fusing clustering coefficients［J］. Journal of Computer Applications， 2020， 40（1）： 28-35. 10.11772/j.issn.1001-9081.2019061008
3 尤坊州，白亮. 关键节点选择的快速图聚类算法［J］. 计算机科学与探索， 2021， 15（10）： 1930-1937. 10.3778/j.issn.1673-9418.2007004 YOU F Z， BAI L. Fast graph clustering algorithm based on selection of key nodes［J］. Journal of Frontiers of Computer Science and Technology， 2021， 15（10）： 1930-1937. 10.3778/j.issn.1673-9418.2007004
4 LeCUN Y， BENGIO Y， HINTON G. Deep learning［J］. Nature， 2015， 521（7553）： 436-444. 10.1038/nature14539
5 GOYAL P， FERRARA E. Graph embedding techniques， applications， and performance： a survey［J］. Knowledge-Based Systems， 2018， 151： 78-94. 10.1016/j.knosys.2018.03.022
6 刘思，刘海，陈启买，等. 基于网络表示学习与随机游走的链路预测算法［J］. 计算机应用， 2017， 37（8）： 2234-2239. 10.11772/j.issn.1001-9081.2017.08.2234 LIU S， LIU H， CHEN Q M， et al. Link prediction algorithm based on network representation learning and random walk［J］. Journal of Computer Applications， 2017， 37（8）： 2234-2239. 10.11772/j.issn.1001-9081.2017.08.2234
7 BOURLARD H， KAMP Y. Auto-association by multilayer perceptrons and singular value decomposition［J］. Biological Cybernetics， 1988， 59（4/5）： 291-294. 10.1007/bf00332918
8 PEROZZI B， AL-RFOU R， SKIENA S. DeepWalk： online learning of social representations ［C］// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2014： 701-710. 10.1145/2623330.2623732
9 GROVER A， LESKOVEC J. node2vec： Scalable feature learning for networks［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 855-864. 10.1145/2939672.2939754
10 HUNG P T， YAMANISHI K. Word2vec skip-gram dimensionality selection via sequential normalized maximum likelihood［J］. Entropy， 2021， 23（8）： No.997. 10.3390/e23080997
11 WU Z H， PAN S R， CHEN F W， et al. A comprehensive survey on graph neural networks［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（1）： 4-24. 10.1109/tnnls.2020.2978386
12 LI G H， MüLLER M， QIAN G C， et al. DeepGCNs： making GCNs go as deep as CNNs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021（Early Access）： 1-1. 10.1109/tpami.2021.3074057
13 LEE Y， HWANG J W， LEE S， et al. An energy and GPU-computation efficient backbone network for real-time object detection［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2019： 752-760. 10.1109/cvprw.2019.00103
14 CLEVERT D A， UNTERTHINER T， HOCHREITER S. Fast and accurate deep network learning by Exponential Linear Units （ELUs）［EB/OL］. （2016-02-22）［2021-12-10］.https：//arxiv.org/pdf/1511.07289.pdf.
15 PEROZZI B， KULKARNI V， SKIENA S. Walklets： multiscale graph embeddings for interpretable network classification［EB/OL］. （2016-05-06）［2021-12-10］.https：//arxiv.org/pdf/1605.02115v1.pdf. 10.1145/3110025.3110086
16 WANG D X， CUI P， ZHU W W. Structural deep network embedding［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 1225-1234. 10.1145/2939672.2939753
17 CAO S S， LU W， XU Q K. Deep neural networks for learning graph representations［C］// Proceedings of the 30th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2016： 1145-1152. 10.1609/aaai.v30i1.10179
18 KIPF T N， WELLING M. Variational graph auto-encoders［EB/OL］. （2016-11-21）［2021-09-15］.https：//arxiv.org/pdf/1611.07308.pdf.
19 KINGMA D P， WELLING M. Auto-encoding variational Bayes［EB/OL］. （2014-05-01）［2021-11-19］.https：//arxiv.org/pdf/1312.6114.pdf. 10.1561/2200000056
20 NALLBANI I， AYANZADEH A， KESER R K， et al. Representation learning using graph autoencoders with residual connections［EB/OL］. （2021-05-03）［2021-10-22］.https：//arxiv.org/pdf/2105.00695.pdf.
21 HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
22 XIAO Y， XIAO D， HU B B， et al. ANE： network embedding via adversarial autoencoders［C］// Proceedings of the 2018 IEEE International Conference on Big Data and Smart Computing. Piscataway： IEEE， 2018： 66-73. 10.1109/bigcomp.2018.00019
23 MAKHZANI A， SHLENS J， JAITLY N， et al. Adversarial autoencoders［EB/OL］. （2016-05-25）［2021-12-10］.https：//arxiv.org/pdf/1511.05644.pdf.
24 HUANG G， LIU Z， MAATEN L van der， et al. Densely connected convolutional networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2261-2269. 10.1109/cvpr.2017.243
25 GU J X， WANG Z H， KUEN J， et al. Recent advances in convolutional neural networks［J］. Pattern Recognition， 2018， 77： 354-377. 10.1016/j.patcog.2017.10.013
26 GLOROT X， BORDES A， BENGIO Y. Deep sparse rectifier neural networks［C］// Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2011： 315-323.
27 KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks［EB/OL］. （2017-02-22）［2021-11-08］.https：//arxiv.org/pdf/1609.02907.pdf. 10.48550/arXiv.1609.02907
28 HAMMOND D K， VANDERGHEYNST P， GRIBONVAL R. Wavelets on graphs via spectral graph theory［J］. Applied and Computational Harmonic Analysis， 2011， 30（2）：129-150. 10.1016/j.acha.2010.04.005
29 KULLBACK S， LEIBLER R A. On information and sufficiency［J］. The Annals of Mathematical Statistics， 1951， 22（1）：79-86. 10.1214/aoms/1177729694
30 SEN P， NAMATA G， BILGIC M， et al. Collective classification in network data［J］. AI Magazine， 2008， 29（3）： 93-106. 10.1609/aimag.v29i3.2157
31 SALHA G， HENNEQUIN R， VAZIRGIANNIS M. Keep it simple： graph autoencoders without graph convolutional networks［EB/OL］. （2019-10-02）［2021-12-10］.https：//arxiv.org/pdf/1910.00942.pdf. 10.1016/j.neunet.2021.04.015
32 VELI?KOVI? P， CUCURULL G， CASANOVA A， et al. Graph attention networks［EB/OL］. （2018-02-04）［2021-10-10］.https：//arxiv.org/pdf/1710.10903.pdf.

[1]	庞川林, 唐睿, 张睿智, 刘川, 刘佳, 岳士博. D2D通信系统中基于图卷积网络的分布式功率控制算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2855-2862.
[2]	薛桂香, 王辉, 周卫峰, 刘瑜, 李岩. 基于知识图谱和时空扩散图卷积网络的港口交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2952-2957.
[3]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[4]	邓凯丽, 魏伟波, 潘振宽. 改进掩码自编码器的工业缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2595-2603.
[5]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[6]	吕锡婷, 赵敬华, 荣海迎, 赵嘉乐. 基于Transformer和关系图卷积网络的信息传播预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1760-1766.
[7]	黎施彬, 龚俊, 汤圣君. 基于Graph Transformer的半监督异配图表示学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1816-1823.
[8]	高龙涛, 李娜娜. 基于方面感知注意力增强的方面情感三元组抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1049-1057.
[9]	杨先凤, 汤依磊, 李自强. 基于交替注意力机制和图卷积网络的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1058-1064.
[10]	李宗禹, 强思维, 郭晓波, 朱振峰. 重加权的对抗变分自编码器及其在工业因果效应估计中的应用[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1099-1106.
[11]	王楷天, 叶青, 程春雷. 基于异构图表示的中医电子病历分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 411-417.
[12]	张卓, 陈花竹. 基于一致性和多样性的多尺度自表示学习的深度子空间聚类[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 353-359.
[13]	吴祖成, 吴小俊, 徐天阳. 基于模态内细粒度特征关系提取的图像文本检索模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3776-3783.
[14]	胡新荣, 陈静雪, 黄子键, 王帮超, 姚迅, 刘军平, 朱强, 杨捷. 基于图卷积网络的掩码数据增强[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3335-3344.
[15]	王利琴, 张特, 许智宏, 董永峰, 杨国伟. 融合实体语义及结构信息的知识图谱推理[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3371-3378.

基于One-Shot聚合自编码器的图表示学习

Graph representation learning by autoencoder with one-shot aggregation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics