基于元图同构网络的分子毒性预测

doi:10.11772/j.issn.1001-9081.2023091286

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (9): 2964-2969.DOI: 10.11772/j.issn.1001-9081.2023091286

基于元图同构网络的分子毒性预测

黄云川¹^,², 江永全¹^,²^,³(), 黄骏涛⁴, 杨燕¹^,²^,³

^1.西南交通大学计算机与人工智能学院, 成都 611756
^2.可持续城市交通智能化教育部工程研究中心(西南交通大学), 成都 611756
^3.四川省制造业产业链协同与信息化支撑技术重点实验室(西南交通大学), 成都 611756
^4.西南交通大学生命科学与工程学院, 成都 611756

收稿日期:2023-09-19 修回日期:2023-12-27 接受日期:2024-01-02 发布日期:2024-03-15 出版日期:2024-09-10
通讯作者: 江永全
作者简介:黄云川（1998—），男，四川遂宁人，硕士研究生，主要研究方向：人工智能、深度学习、分子性质预测
黄骏涛（2002—），男，江苏南通人，主要研究方向：生物工程、分子性质预测
杨燕（1964—），女，安徽合肥人，教授，博士，CCF杰出会员，主要研究方向：人工智能、大数据分析与挖掘、集成学习与多视图学习、云计算与云服务。
基金资助:
国家自然科学基金资助项目(61976247);中央高校基本科研业务费专项资金资助项目(2682021ZTPY110)

Molecular toxicity prediction based on meta graph isomorphism network

Yunchuan HUANG¹^,², Yongquan JIANG¹^,²^,³(), Juntao HUANG⁴, Yan YANG¹^,²^,³

^1.School of Computing and Artificial Intelligence，Southwest Jiaotong University，Chengdu Sichuan 611756，China
^2.Engineering Research Center of Sustainable Urban Intelligent Transportation，Ministry of Education （Southwest Jiaotong University），Chengdu Sichuan 611756，China
^3.Manufacturing Industry Chains Collaboration and Information Support Technology Key Laboratory of Sichuan Province （Southwest Jiaotong University），Chengdu Sichuan 611756，China
^4.School of Life Science and Engineering，Southwest Jiaotong University，Chengdu Sichuan 611756，China

Received:2023-09-19 Revised:2023-12-27 Accepted:2024-01-02 Online:2024-03-15 Published:2024-09-10
Contact: Yongquan JIANG
About author:HUANG Yunchuan， born in 1998， M. S. candidate. His research interests include artificial intelligence， deep learning， molecular property prediction.
HUANG Juntao， born in 2002. His research interests include bioengineering， molecular property prediction.
YANG Yan， born in 1964， Ph. D.， professor. Her research interests include artificial intelligence， big data analytics and mining， ensemble learning and multi-view learning， cloud computing and cloud services.
Supported by:
National Natural Science Foundation of China(61976247);Fundamental Research Funds for Central Universities(2682021ZTPY110)

摘要/Abstract

摘要：

为了获得更准确的分子毒性预测结果，提出基于元图同构网络的分子毒性预测模型Meta-MTP。首先，使用图同构神经网络将原子作为节点、键作为边、分子作为图结构，以获取分子表征；使用预训练模型对图同构网络（GIN）初始化，使它获得更好的参数；引入基于分层注意力和局部增强的前馈Transformer；使用原子类型预测和键预测作为辅助任务提取更多的分子内部信息；通过元学习双层优化策略对模型进行训练；最后使用Tox21和SIDER数据集对模型进行训练。实验结果表明，在Tox21和SIDER数据集上，Meta-MTP具有良好的分子毒性预测能力，当样本数为10时，相较于FSGNNTR（Few-Shot Graph Neural Network-TRansformer）模型，Meta-MTP的曲线下面积（AUC）分别提高了1.4%和5.4%，相较于图同构网络（GIN）、图卷积网络（GCN）和GraphSAGE（Graph Sample and AGgrEgate）3种传统的图神经网络模型，Meta-MTP的AUC提高了18.3%~23.7%和7.3%~22.2%。

关键词: 深度学习, 分子毒性预测, 元学习, 图同构网络, Transformer

Abstract:

To obtain more accurate molecular toxicity prediction results， a molecular toxicity prediction model based on meta Graph Isomorphism Network （GIN） was proposed， namely Meta-MTP. Firstly， graph isomorphism neural network was used to obtain molecular characterization by using atoms as nodes， bonds as edges， and molecules as graph structures. The pre-trained model was used to initialize the GIN to obtain better parameters. A feedforward Transformer incorporating layer-wise attention and local enhancement was introduced. Atom type prediction and bond prediction were used as auxiliary tasks to extract more internal molecular information. The model was trained through a meta learning dual-level optimization strategy. Finally， the model was trained using Tox21 and SIDER datasets. Experimental results on Tox21 and SIDER datasets show that Meta-MTP has good molecular toxicity prediction ability. When the number of samples is 10， compared to FSGNNTR （Few-Shot Graph Neural Network-TRansformer） model in all tasks， the Area Under the ROC Curve （AUC） of Meta-MTP is improved by 1.4% and 5.4% respectively. Compared to three traditional graph neural network models， Graph Isomorphism Network （GIN）， Graph Convolutional Network （GCN）， and Graph Sample and AGgrEgate （GraphSAGE）， the AUC of Meta-MTP improves by 18.3%-23.7% and 7.3%-22.2% respectively.

Key words: deep learning, molecular toxicity prediction, meta learning, graph isomorphism network, Transformer

中图分类号:

TP391.1

黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 计算机应用, 2024, 44(9): 2964-2969.

Yunchuan HUANG, Yongquan JIANG, Juntao HUANG, Yan YANG. Molecular toxicity prediction based on meta graph isomorphism network[J]. Journal of Computer Applications, 2024, 44(9): 2964-2969.

图/表 3

图1 Meta-MTP的框架

Fig. 1 Framework of Meta-MTP

图2 不同模型在Tox21和SIDER数据集上的实验结果

Fig. 2 Experimental results of different models on Tox21 and SIDER datasets

图3 消融实验结果

Fig. 3 Ablation experiment results

参考文献 23

1	李帅.AI赋能药物研发背后的逻辑［EB/OL］. ［2023-05-14］. .
	LI S. Logic behind AI enabling drug development ［EB/OL］. ［2023-05-14］. .
2	马璟. 早期毒性优化筛选在药物候选决策中的作用［C］// 中国毒理学会第六届全国毒理学大会论文集. 北京：中国毒理学会，2013：419.
	MA J. The role of early toxicity optimization screening in drug candidate decision-making ［C］// Proceedings of the 6th National Toxicology Conference of the Chinese Society of Toxicology. Beijing： Chinese Society of Toxicology， 2013： 419.
3	YANG K， SWANSON K， JIN W， et al. Analyzing learned molecular representations for property prediction ［J］. Journal of Chemical Information and Modeling， 2019， 59（8）： 3370-3388.
4	SHEN W X， ZENG X， ZHU F， et al. Out-of-the-box deep learning prediction of pharmaceutical properties by broadly learned knowledge-based molecular representations ［J］. Nature Machine Intelligence， 2021， 3（4）： 334-343.
5	KEARNES S， McCLOSKEY K， BERNDL M， et al. Molecular graph convolutions： moving beyond fingerprints ［J］. Journal of Computer-Aided Molecular Design， 2016， 30（8）： 595-608.
6	LI J， CAI D， HE X. Learning graph-level representation for drug discovery ［EB/OL］. ［2023-02-13］. .
7	WANG F， YANG J-F， WANG M-Y， et al. Graph attention convolutional neural network model for chemical poisoning of honey bees’ prediction ［J］. Science Bulletin， 2020， 65（14）： 1184-1191.
8	YUAN K， GUO S， LIU Z， et al. Incorporating convolution designs into visual Transformers ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 559-568.
9	ZHANG Z， LIU Q， WANG H， et al. Motif-based graph self-supervised learning for molecular property prediction ［EB/OL］. ［2023-02-13］. .
10	GUO Z， ZHANG C， YU W， et al. Few-shot graph learning for molecular property prediction ［C］// Proceedings of the Web Conference 2021. New York： ACM， 2021： 2559-2567.
11	WANG Y， ABUDUWEILI A， YAO Q， et al. Property-aware relation networks for few-shot molecular property prediction ［EB/OL］. ［2023-04-14］. .
12	XU K， HU W， LESKOVEC J， et al. How powerful are graph neural networks？［EB/OL］. ［2023-05-19］. .
13	HAMILTON W L， YING R， LESKOVEC J. Inductive representation learning on large graphs ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 1025-1035.
14	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional Transformers for language understanding ［EB/OL］. ［2022-12-03］. .
15	HU W， LIU B， GOMES J， et al. Strategies for pre-training graph neural networks ［EB/OL］. ［2023-09-13］. .
16	TORRES L H M， RIBEIRO B， ARRAIS J P. Few-shot learning with Transformers via graph embeddings for molecular property prediction ［J］. Expert Systems with Applications， 2023， 225： 120005.
17	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
18	HENDRYCKS D， GIMPEL K. Bridging nonlinearities and stochastic regularizers with Gaussian error linear units ［EB/OL］. ［2023-03-14］. .
19	FINN C， ABBEEL P， LEVINE S. Model-agnostic meta-learning for fast adaptation of deep networks ［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 1126-1135.
20	HOSPEDALES T， ANTONIOU A， MICAELLI P， et al. Meta-learning in neural networks： a survey ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（9）： 5149-5169.
21	YAO H， LIU Y， WEI Y， et al. Learning from multiple cities： a meta-learning approach for spatial-temporal prediction ［C］// Proceedings of the 2019 World Wide Web Conference. New York： ACM， 2019： 2181-2191.
22	HUANG R， XIA M， D-T NGUYEN， et al. Tox21 Challenge to build predictive models of nuclear receptor and stress response pathways as mediated by exposure to environmental chemicals and drugs ［J］. Frontiers in Environmental Science， 2016， 3： 85.
23	KUHN M， LETUNIC I， JENSEN L J， et al. The SIDER database of drugs and side effects ［J］. Nucleic Acids Research， 2016， 44（D1）： D1075-D1079.

[1]	贾洁茹, 杨建超, 张硕蕊, 闫涛, 陈斌. 基于自蒸馏视觉Transformer的无监督行人重识别[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2893-2902.
[2]	杨鑫, 陈雪妮, 吴春江, 周世杰. 结合变种残差模型和Transformer的城市公路短时交通流预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2947-2951.
[3]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[4]	李金金, 桑国明, 张益嘉. APK-CNN和Transformer增强的多域虚假新闻检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2674-2682.
[5]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[6]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[7]	方介泼, 陶重犇. 应对零日攻击的混合车联网入侵检测系统[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2763-2769.
[8]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[9]	任烈弘, 黄铝文, 田旭, 段飞. 基于DFT的频率敏感双分支Transformer多变量长时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2739-2746.
[10]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[11]	丁宇伟, 石洪波, 李杰, 梁敏. 基于局部和全局特征解耦的图像去噪网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2571-2579.
[12]	邓凯丽, 魏伟波, 潘振宽. 改进掩码自编码器的工业缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2595-2603.
[13]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[14]	杨帆, 邹窈, 朱明志, 马振伟, 程大伟, 蒋昌俊. 基于图注意力Transformer神经网络的信用卡欺诈检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2634-2642.
[15]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.

基于元图同构网络的分子毒性预测

Molecular toxicity prediction based on meta graph isomorphism network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 3

参考文献 23

相关文章 15

编辑推荐

Metrics