基于语义与全局双重注意力机制的长链非编码RNA-疾病关联预测模型

doi:10.11772/j.issn.1001-9081.2022060872

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (7): 2125-2132.DOI: 10.11772/j.issn.1001-9081.2022060872

• 人工智能 • 上一篇

基于语义与全局双重注意力机制的长链非编码RNA-疾病关联预测模型

张奕¹^,², 蔡钢生¹(), 王真梅¹

^1.桂林理工大学信息科学与工程学院, 广西桂林 541006
^2.广西嵌入式技术与智能系统重点实验室(桂林理工大学), 广西桂林 541006

收稿日期:2022-06-16 修回日期:2022-08-22 接受日期:2022-08-30 发布日期:2022-09-22 出版日期:2023-07-10
通讯作者: 蔡钢生
作者简介:张奕（1977—），女，江西九江人，教授，博士，主要研究方向：机器学习、推荐系统；
蔡钢生（1995—），男，广东揭阳人，硕士研究生，主要研究方向：机器学习、生物信息学；
王真梅（1996—），女，广西玉林人，硕士研究生，主要研究方向：生物信息学。
基金资助:
国家自然科学基金资助项目(62166014);广西自然科学基金资助项目(2020GXNSFAA297255)

Long non-coding RNA-disease association prediction model based on semantic and global dual attention mechanism

Yi ZHANG¹^,², Gangsheng CAI¹(), Zhenmei WANG¹

^1.College of Information Science and Engineering，Guilin University of Technology，Guilin Guangxi 541006，China
^2.Guangxi Key Laboratory of Embedded Technology and Intelligent System （Guilin University of Technology），Guilin Guangxi 541006，China

Received:2022-06-16 Revised:2022-08-22 Accepted:2022-08-30 Online:2022-09-22 Published:2023-07-10
Contact: Gangsheng CAI
About author:ZHANG Yi， born in 1977， Ph. D.， professor. Her research interests include machine learning， recommender system.
CAI Gangsheng， born in 1995， M. S. candidate. His research interests include machine learning， bioinformatics.
WANG Zhenmei， born in 1996， M. S. candidate. Her research interests include bioinformatics.
Supported by:
National Natural Science Foundation of China(62166014);Guangxi Natural Science Foundation(2020GXNSFAA297255)

摘要/Abstract

摘要：

针对现有长链非编码RNA （lncRNA）-疾病关联预测模型在综合利用异构生物网络的交互、语义信息上存在局限性的问题，提出一种基于语义与全局双重注意力机制的lncRNA-疾病关联预测模型（SGALDA）。首先，基于相似性和已知关联构建一个lncRNA-疾病-微小RNA（miRNA）异构网络，并基于消息传递类型设计特征提取模块来提取和融合异构网络上同质、异质节点的邻域特征，以捕捉异构网络上的多层面交互关系。其次，基于元路径将异构网络分解为多个语义子网络，并分别在各个子网络上应用图卷积网络（GCN）来提取节点的语义特征，以捕捉异构网络上的高阶交互关系。然后，基于语义与全局双重注意力机制融合节点的语义和邻域特征，以获得更具代表性的节点特征。最后，利用lncRNA节点特征和疾病节点特征的内积运算重建lncRNA-疾病关联。5折交叉验证结果显示，SGALDA的受试者工作特征曲线下面积（AUROC）为0.994 5±0.000 2，PR曲线下面积（AUPR）为0.916 7±0.001 1，在所有对比模型中均为最高，验证了SGALDA良好的预测性能。对乳腺癌、胃癌的案例研究进一步证实了SGALDA识别潜在lncRNA-疾病关联的能力，说明SGALDA有潜力成为一种可靠的lncRNA-疾病关联预测模型。

关键词: 关联预测, 异构网络, 元路径, 双重注意力, 图卷积网络, 长链非编码RNA

Abstract:

Aiming at the limitations of existing long non-coding RNA （lncRNA） -disease association prediction models in comprehensively utilizing interaction and semantic information of heterogeneous biological networks， an lncRNA-Disease Association prediction model based on Semantic and Global dual Attention mechanism （SGALDA） was proposed. Firstly， an lncRNA-disease-microRNA （miRNA） heterogeneous network was constructed based on similarity and known associations. And a feature extraction module was designed based on message passing types to extract and fuse the neighborhood features of homogeneous and heterogeneous nodes on the network， so as to capture multi-level interactive relations on the heterogeneous network. Secondly， the heterogeneous network was decomposed into multiple semantic sub-networks based on meta-paths. And a Graph Convolutional Network （GCN） was applied on each sub-network to extract semantic features of nodes， so as to capture the high-order interactive relations on the heterogeneous network. Thirdly， a semantic and global dual attention mechanism was used to fuse semantic and neighborhood features of the nodes to obtain more representative node features. Finally， lncRNA-disease associations were reconstructed by using the inner product of lncRNA node features and disease node features. The 5-fold cross-validation results show that the Area Under Receiver Operating Characteristic curve （AUROC） of SGALDA is 0.994 5±0.000 2， and the Area Under Precision-Recall curve （AUPR） of SGALDA is 0.916 7±0.001 1， both of them are the highest among AUROCs sand AUPRs of all the comparison models. It proves SGALDA’s good prediction performance. Case studies on breast cancer and stomach cancer further prove the ability of SGALDA to identify potential lncRNA-disease associations， indicating that SGALDA has the potential to be a reliable lncRNA-disease association prediction model.

Key words: association prediction, heterogeneous network, meta-path, dual attention, Graph Convolutional Network (GCN), long non-coding RNA (lncRNA)

中图分类号:

TP18

张奕, 蔡钢生, 王真梅. 基于语义与全局双重注意力机制的长链非编码RNA-疾病关联预测模型[J]. 计算机应用, 2023, 43(7): 2125-2132.

Yi ZHANG, Gangsheng CAI, Zhenmei WANG. Long non-coding RNA-disease association prediction model based on semantic and global dual attention mechanism[J]. Journal of Computer Applications, 2023, 43(7): 2125-2132.

图/表 7

图1 SGALDA总体实现流程

Fig. 1 Overall implementation flow of SGALDA

表1 提取语义特征的元路径及其可能代表的语义

Tab. 1 Meta-paths for extracting semantic features and their possible semantic representations

元路径	可能代表的语义
lncRNA-lncRNA	相似的lncRNA可能存在关联
疾病-疾病	相似的疾病可能存在关联
lncRNA-疾病-lncRNA	连接同一疾病的两个lncRNA可能存在关联
lncRNA-miRNA-lncRNA	与同一miRNA存在交互作用的两个lncRNA可能存在关联
疾病-lncRNA-疾病	连接同一lncRNA的两个疾病可能存在关联
疾病-miRNA-疾病	连接同一miRNA的两个疾病可能存在关联
lncRNA-疾病	lncRNA-疾病已知存在的关联
lncRNA-miRNA-疾病	与miRNA存在交互作用的lncRNA，可能与miRNA关联的疾病有关
lncRNA-疾病-miRNA-疾病	与疾病存在关联的lncRNA，可能与该疾病关联的miRNA所关联疾病有关

表2 实验参数设定

Tab. 2 Setting of experimental parameters

参数	设置
近邻节点数量K	5
GCN层数n	2
GCN隐藏层单元数量k	128
非线性变换隐藏层单元数量 $k'$	64
epoch	300
学习率	0.005
权重衰减系数	0.000 01
Dropout概率	0.4

表2 实验参数设定

Tab. 2 Setting of experimental parameters

参数	设置
近邻节点数量K	5
GCN层数n	2
GCN隐藏层单元数量k	128
非线性变换隐藏层单元数量 $k'$	64
epoch	300
学习率	0.005
权重衰减系数	0.000 01
Dropout概率	0.4

表3 实验结果

Tab. 3 Experimental results

模型	AUROC	AUPR
MFLDA	0.740 8 ± /	0.204 5 ± 0.002 3
TPGLDA	0.877 1 ± 0.005 3	0.319 2 ± 0.005 8
GCNLDA	0.9598 ± /	0.223 3 ± /
VGAELDA	0.969 2 ± 0.008 0	0.820 3 ± 0.013 9
SGALDA	0.9945 ± 0.000 2	0.9167 ± 0.001 1

表4 SGALDA与其变体模型的模块使用情况

Tab. 4 Module usage of SGALDA and its variants

模型	邻域特征提取	语义特征提取	双重注意力机制
模型	邻域特征提取	语义特征提取	语义	全局
SGALDA-neighbor	√
SGALDA-avgsemantic		√	平均
SGALDA-semantic		√	√
SGALDA-ns	√	√	平均	平均
SGALDA-ns-s	√	√	√	平均
SGALDA-ns-g	√	√	平均	√
SGALDA	√	√	√	√

表5 SGALDA与其变体模型的对比结果

Tab. 5 Comparison results of SGALDA and its variants

模型	AUROC	AUPR
SGALDA-avgsemantic	0.974 5 ± 0.000 2	0.736 4 ± 0.001 1
SGALDA-semantic	0.971 4 ± 0.002 2	0.784 8 ± 0.004 6
SGALDA-ns	0.992 6 ± 0.000 2	0.897 3 ± 0.002 1
SGALDA-ns-s	0.992 7 ± 0.000 1	0.898 9 ± 0.001 8
SGALDA-neighbor	0.993 2 ± 0.000 2	0.899 7 ± 0.001 5
SGALDA-ns-g	0.992 9 ± 0.000 3	0.900 5 ± 0.002 1
SGALDA	0.9945 ± 0.000 2	0.9167 ± 0.001 1

表6 乳腺癌、胃癌相关的潜在lncRNA

Tab. 6 LncRNAs potentially associated with breast cancer and stomach cancer

疾病	排名	lncRNA名称	PMID
乳腺癌	1	MIR17HG	25680407
	2	MYCNOS	未确认
	3	CASC15	33551326； 35235236
	4	HAND2-AS1	33290256； 33015182
	5	LINC00467	33996559； 34956437
	6	TUG1	29657297； 28950664
	7	LINC00261	33274565； 32440206
	8	HNF1A-AS1	32319789； 35539662
	9	PCAT5	未确认
	10	LINC00963	32052688
胃癌	1	MALAT1	34036905； 28077118
	2	NEAT1	33982777； 29363783
	3	CCAT2	25755774； 28248065
	4	MIR17HG	31186404
	5	DISC2	未确认
	6	KCNQ1OT1	33682985； 31915311
	7	LINC00312	未确认
	8	HULC	31726371
	9	TUG1	34762771
	10	BCYRN1	31652309

参考文献 37

1	王馨悦，李剑.长链非编码RNA在肿瘤中的研究进展［J］.癌症进展， 2018， 16（11）： 1328-1330， 1423.
	WANG X Y， LI J. Research advances of lncRNA in tumors［J］. Oncology Progress， 2018， 16（11）： 1328-1330， 1423.
2	GEISLER S， COLLER J. RNA in unexpected places： long non-coding RNA functions in diverse cellular contexts［J］. Nature Reviews Molecular Cell Biology， 2013， 14（11）： 699-712. 10.1038/nrm3679
3	彭颖，冯继锋.长链非编码RNA在常见肿瘤中的研究进展［J］.中国肿瘤外科杂志， 2020， 12（2）： 174-179， 184. 10.3969/j.issn.1674-4136.2020.02.019
	PENG Y， FENG J F. Research progress of long non-coding RNA in common tumors［J］. Chinese Journal of Surgical Oncology， 2020， 12（2）： 174-179， 184. 10.3969/j.issn.1674-4136.2020.02.019
4	YAN C C， ZHANG Z C， BAO S Q， et al. Computational methods and applications for identifying disease-associated lncRNAs as potential biomarkers and therapeutic targets［J］. Molecular Therapy — Nucleic Acids， 2020， 21： 156-171. 10.1016/j.omtn.2020.05.018
5	CHEN G， WANG Z Y， WANG D Q， et al. LncRNADisease： a database for long-non-coding RNA-associated diseases［J］. Nucleic Acids Research， 2013， 41（D1）： D983-D986. 10.1093/nar/gks1099
6	NING S W， ZHANG J Z， WANG P， et al. Lnc2Cancer： a manually curated database of experimentally supported lncRNAs associated with various human cancers［J］. Nucleic Acids Research， 2016， 44（D1）： D980-D985. 10.1093/nar/gkv1094
7	LI Y， QIU C X， TU J， et al. HMDD v2.0： a database for experimentally supported human microRNA and disease associations［J］. Nucleic Acids Research， 2014， 42（D1）： D1070-D1074. 10.1093/nar/gkt1023
8	WANG Y T， JUAN L R， PENG J J， et al. LncDisAP： a computation model for LncRNA-disease association prediction based on multiple biological datasets［J］. BMC Bioinformatics， 2019， 20（S16）： No.582. 10.1186/s12859-019-3081-1
9	LI J C， ZHAO H C， XUAN Z W， et al. A novel approach for potential human lncRNA-disease association prediction based on local random walk［J］. IEEE/ACM Transactions on Computational Biology and Bioinformatics， 2021， 18（3）： 1049-1059. 10.1109/tcbb.2019.2934958
10	ZHANG J P， ZHANG Z P， CHEN Z G， et al. Integrating multiple heterogeneous networks for novel lncRNA-disease association inference［J］. IEEE/ACM Transactions on Computational Biology and Bioinformatics， 2019， 16（2）： 396-406. 10.1109/tcbb.2017.2701379
11	DING L， WANG M H， SUN D D， et al. TPGLDA： novel prediction of associations between lncRNAs and diseases via lncRNA-disease-gene tripartite graph［J］. Scientific Reports， 2018， 8： No.1065. 10.1038/s41598-018-19357-3
12	FU G Y， WANG J， DOMENICONI C， et al. Matrix factorization-based data fusion for the prediction of lncRNA-disease associations［J］. Bioinformatics， 2018， 34（9）： 1529-1537. 10.1093/bioinformatics/btx794
13	ZENG M， LU C Q， ZHANG F H， et al. SDLDA： lncRNA-disease association prediction based on singular value decomposition and deep learning［J］. Methods， 2020， 179： 73-80. 10.1016/j.ymeth.2020.05.002
14	LU C Q， YANG M Y， LI M， et al. Predicting human lncRNA-disease associations based on geometric matrix completion［J］. IEEE Journal of Biomedical and Health Informatics， 2020， 24（8）： 2420-2429. 10.1109/jbhi.2019.2958389
15	XUAN P， PAN S X， ZHANG T G， et al. Graph convolutional network and convolutional neural network based method for predicting lncRNA-disease associations［J］. Cells， 2019， 8（9）： No.1012. 10.3390/cells8091012
16	SHI Z W， ZHANG H， JIN C， et al. A representation learning model based on variational inference and graph autoencoder for predicting lncRNA-disease associations［J］. BMC Bioinformatics， 2021， 22： No.136. 10.1186/s12859-021-04073-z
17	WANG L， ZHONG C. gGATLDA： lncRNA-disease association prediction based on graph-level graph attention network［J］. BMC Bioinformatics， 2022， 23： No.11. 10.1186/s12859-021-04548-z
18	WANG D， WANG J， LU M， et al. Inferring the human microRNA functional similarity and functional network based on microRNA-associated diseases［J］. Bioinformatics， 2010， 26（13）： 1644-1650. 10.1093/bioinformatics/btq241
19	CHEN X， YAN G Y. Novel human lncRNA-disease association inference based on lncRNA expression profiles［J］. Bioinformatics， 2013， 29（20）： 2617-2624. 10.1093/bioinformatics/btt426
20	LU M， ZHANG Q P， DENG M， et al. An analysis of human microRNA and disease associations［J］. PLoS ONE， 2008， 3（10）： No.e3420. 10.1371/journal.pone.0003420
21	CHEN X， CLARENCE YAN C G， LUO C， et al. Constructing lncRNA functional similarity network based on lncRNA-disease associations and disease semantic similarity［J］. Scientific Reports， 2015， 5： No.11338. 10.1038/srep11338
22	KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks［EB/OL］. （2017-02-22）［2022-05-03］. . 10.48550/arXiv.1609.02907
23	NAIR V， HINTON G E. Rectified linear units improve restricted Boltzmann machines ［C］// Proceedings of the 27th International Conference on Machine Learning. Madison， WI： Omnipress， 2010： 807-814.
24	CAI L J， LU C C， XU J L， et al. Drug repositioning based on the heterogeneous information fusion graph convolutional network［J］. Briefings in Bioinformatics， 2021， 22（6）： No.bbab319. 10.1093/bib/bbab319
25	LI Q M， HAN Z C， WU X M. Deeper insights into graph convolutional networks for semi-supervised learning ［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 3538-3545. 10.1609/aaai.v32i1.11604
26	LI X， DING D H， KAO B， et al. Leveraging meta-path contexts for classification in heterogeneous information networks ［C］// Proceedings of the IEEE 37th International Conference on Data Engineering. Piscataway： IEEE， 2021： 912-923. 10.1109/icde51399.2021.00084
27	KINGMA D P， BA J L. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30）［2022-05-16］. .
28	SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： a simple way to prevent neural networks from overfitting［J］. Journal of Machine Learning Research， 2014， 15： 1929-1958.
29	LU Z Y， COHEN K B， HUNTER L. GeneRIF quality assurance as summary revision ［C］// Proceedings of the Pacific Symposium on Biocomputing 2007. Maui： World Scientific Publishing， 2007： 269-280. 10.1142/9789812772435_0026
30	LI J H， LIU S， ZHOU H， et al. starBase v2.0： decoding miRNA-ceRNA， miRNA-ncRNA and protein-RNA interaction networks from large-scale CLIP-Seq data［J］. Nucleic Acids Research， 2014， 42（D1）： D92-D97. 10.1093/nar/gkt1248
31	刘宗超，李哲轩，张阳，等. 2020全球癌症统计报告解读［J］.肿瘤综合治疗电子杂志， 2021， 7（2）： 1-14.
	LIU Z C， LI Z X， ZHANG Y， et al. Interpretation on the report of global cancer statistics 2020［J］. Journal of Multidisciplinary Cancer Management （Electronic Version）， 2021， 7（2）： 1-14.
32	CHACON-CORTES D， SMITH R A， LEA R A， et al. Association of microRNA 17-92 cluster Host Gene （MIR17HG） polymorphisms with breast cancer［J］. Tumor Biology， 2015， 36（7）： 5369-5376. 10.1007/s13277-015-3200-1
33	SHEN P， YU Y， YAN Y， et al. LncRNA CASC15 regulates breast cancer cell stemness via the miR-654-5p/MEF2D axis［J］. Journal of Biochemical and Molecular Toxicology， 2022， 36（5）： No.e23023. 10.1002/jbt.23023
34	DONG G L， WANG X R， JIA Y， et al. HAND2-AS1 works as a ceRNA of miR-3118 to suppress proliferation and migration in breast cancer by upregulating PHLPP2［J］. BioMed Research International， 2020， 2020： No.8124570. 10.1155/2020/8124570
35	XU W， DING M D， WANG B， et al. Molecular mechanism of the canonical oncogenic lncRNA MALAT1 in gastric cancer［J］. Current Medicinal Chemistry， 2021， 28（42）： 8800-8809. 10.2174/1875533xmte1anzi90
36	ZHOU Y， SHA Z H， YANG Y， et al. lncRNA NEAT1 regulates gastric carcinoma cell proliferation， invasion and apoptosis via the miR‑500a‑3p/XBP‑1 axis［J］. Molecular Medicine Reports， 2021， 24（1）： No.503. 10.3892/mmr.2021.12142
37	FENG L， LI H Q， LI F， et al. LncRNA KCNQ1OT1 regulates microRNA-9-LMX1A expression and inhibits gastric cancer cell progression［J］. Aging， 2020， 12（1）： 707-717. 10.18632/aging.102651

[1]	魏远, 林彦, 郭晟楠, 林友芳, 万怀宇. 融合出发地与目的地时空相关性的城市区域间出租车需求预测[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2100-2106.
[2]	金柯君, 于洪涛, 吴翼腾, 李邵梅, 张建朋, 郑洪浩. 改进的基于奇异值分解的图卷积网络防御方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1511-1517.
[3]	方澄, 李贝, 韩萍, 吴琼. 基于语法依存图的中文微博细粒度情感分类[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1056-1061.
[4]	姚英茂, 姜晓燕. 基于图卷积网络与自注意力图池化的视频行人重识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 728-735.
[5]	彭涛, 康亚龙, 余锋, 张自力, 刘军平, 胡新荣, 何儒汉, 李丽. 基于多头软注意力图卷积网络的行人轨迹预测[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 736-743.
[6]	苏亚婷, 刘翠响. 基于高分辨率网络和图卷积网络的三维人体重建模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 583-588.
[7]	袁立宁, 刘钊. 基于One-Shot聚合自编码器的图表示学习[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 8-14.
[8]	左亚尧, 陈皓宇, 陈致然, 洪嘉伟, 陈坤. 融合多语义特征的命名实体识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2001-2008.
[9]	刘博, 卿粼波, 王正勇, 刘美, 姜雪. 基于分块注意力机制和交互位置关系的群组活动识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2052-2057.
[10]	周嘉凡, 杜岳峰, 宋宝燕, 李晓光, 赵阿珠, 肖绪界. 基于元路径注意力机制的MOOC视频推荐方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1808-1813.
[11]	文敏, 王荣存, 姜淑娟. 基于关系图卷积网络的源代码漏洞检测[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1814-1821.
[12]	张俊杰, 仇润鹤. 认知超密集网络用户关联与资源分配联合优化遗传算法[J]. 《计算机应用》唯一官方网站, 2022, 42(12): 3856-3862.
[13]	杜雨奇, 郑津, 王杨, 黄诚, 李平. 基于图卷积网络的文本分割模型[J]. 《计算机应用》唯一官方网站, 2022, 42(12): 3692-3699.
[14]	李卓然, 冶忠林, 赵海兴, 林晶晶. 基于混合特征建模的图卷积网络方法[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3354-3363.
[15]	张斌, 王莉, 杨延杰. 联合立场的过程跟踪式多任务谣言验证模型[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3371-3378.

基于语义与全局双重注意力机制的长链非编码RNA-疾病关联预测模型

Long non-coding RNA-disease association prediction model based on semantic and global dual attention mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 37

相关文章 15

编辑推荐

Metrics