基于多模态数据的阿尔兹海默病分类方法

doi:10.11772/j.issn.1001-9081.2023070985

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (S2): 298-305.DOI: 10.11772/j.issn.1001-9081.2023070985

• 前沿与综合应用 • 上一篇

基于多模态数据的阿尔兹海默病分类方法

张昀枭¹, 吴晓红¹(), 唐荔莉², 徐庆华², 王斌¹, 何小海¹

^1.四川大学电子信息学院，成都 610065
^2.成都颐心源健康管理有限公司，成都 610051

收稿日期:2023-07-21 修回日期:2023-10-08 接受日期:2023-10-08 发布日期:2023-10-26 出版日期:2023-12-31
通讯作者: 吴晓红
作者简介:张昀枭（1998—），男，四川自贡人，硕士研究生，主要研究方向：计算机视觉、医学图像处理；
吴晓红（1970—），女，四川成都人，副教授，博士，主要研究方向：图像处理与识别、计算机视觉；
唐荔莉（1981—），女，四川成都人，主要研究方向：阿尔兹海默症照护、阿尔兹海默症作业训练；
徐庆华（1962—），男，四川夹江人，副主任医师，硕士，主要研究方向：老年医学及老年综合评估；
王斌（1998—），男，湖北荆州人，硕士，主要研究方向：计算机视觉、医学图像处理；
何小海（1964—），男，四川成都人，教授，博士，主要研究方向：图像处理与网络通信、人工智能与大数据分析。
基金资助:
成都市重大科技应用示范项目(2019?YF09?00120?SN)

Alzheimer’s disease classification method based on multimodal data

Yunxiao ZHANG¹, Xiaohong WU¹(), Lili TANG², Qinghua XU², Bin WANG¹, Xiaohai HE¹

^1.College of Electronics and Information Engineering，Sichuan University，Chengdu Sichuan 610065，China
^2.Chengdu Yixinyuan Health Management Company Limited，Chengdu Sichuan 610051，China

Received:2023-07-21 Revised:2023-10-08 Accepted:2023-10-08 Online:2023-10-26 Published:2023-12-31
Contact: Xiaohong WU

摘要/Abstract

摘要：

针对基于单模态影像数据实现阿尔兹海默病（AD）辅助分类的方法存在单模态数据提取病理信息有限、影像特征提取不稳定以及分类准确率偏低等问题，提出一种基于多模态数据的AD分类方法。该方法首先根据临床中对AD诊断时需要多种检查方式综合分析的特点，采用核磁共振成像（MRI）、量表、生物标志物、基因四种多模态数据实现AD辅助诊断，并针对多模态数据的特点设计了多模态分类网络。多模态分类网络搭建了影像数据和非影像数据两条特征提取网络分支：前者将预处理后的MRI影像数据送入改进后的网络进行特征提取，改进的网络以残差网络（ResNet）为主体，将坐标注意力（CA）模块嵌入残差结构中，使网络模型关注到MRI影像中的AD病变位置区域；后者将量表、生物标志物和基因等非影像数据送入多层感知机提取特征信息。最后将提取到的MRI影像特征和非影像特征通过特征融合后实现分类。实验结果表明，在无泄漏多模态数据集下，改进后的MRI影像特征提取网络相较于基础网络ResNet，AD/轻度认知障碍（MCI）/认知正常（CN）三分类准确率提升了5.42个百分点，AD/CN二分类准确率提升了8.87个百分点，验证了网络改进的有效性；多模态融合后的AD/CN准确率为92.89%，相较于单模态MRI影像数据提升了8.40个百分点，AD/MCI/CN分类准确率则提升了13.51个百分点，有效地验证了提出的方法能融合各种模态的病理信息，有效提高AD分类的准确率。综上，所提方法能有效地提升AD辅助诊断性能。

关键词: 多模态数据, 深度学习, 残差网络, 坐标注意力, 核磁共振成像, 阿尔兹海默病

Abstract:

In response to the issues of limited extraction of pathological information from single-modal imaging data， unstable image feature extraction， and low classification accuracy of current auxiliary classification methods for Alzheimer's Disease （AD）， a multi-modal data-based AD classification method was proposed. Four types of multi-modal data， including Magnetic Resonance Imaging （MRI）， scales， biomarkers and genes， were used to achieve AD auxiliary diagnosis； and a multi-modal classification network was designed to handle the characteristics of multi-modal data. The network consists of two feature extraction branches for image and non-image data： in branch for image， the MRI image data was preprocessed to extract features by an improved network， which incorporates Coordinate Attention （CA） modules into the residual structure of the Residual Network （ResNet） to focus on the regions of AD lesions in MRI images； in branch for non-image， feature information was extracted from non-image data by using a multilayer perceptron. Finally， the extracted MRI image features and non-image features were fused for classification. Experimental results on a leakage-free multi-modal dataset show that the improved MRI image feature extraction network achieves a 5.42 percentage points increase in AD/Mild Cognitive Impairment （MCI） /Cognitively Normal （CN） three-class classification accuracy and an 8.87 percentage points increase in AD/CN binary classification accuracy compared to the basic ResNet network， demonstrating the effectiveness of the network improvement. The accuracy of AD/CN classification after multi-modal fusion is 92.89%， with an 8.40 percentage points increase compared to single-modal MRI image data， and the accuracy of AD/MCI/CN classification is increased by 13.51 percentage points， effectively verifying that the proposed method can fuse pathological information from various modalities to improve AD classification accuracy. In summary， the proposed method can effectively enhance the performance of AD auxiliary diagnosis.

Key words: multimodal data, deep learning, Residual Network (ResNet), Coordinate Attention (CA), Magnetic Resonance Imaging (MRI), Alzheimer's Disease (AD)

中图分类号:

TP391.4

张昀枭, 吴晓红, 唐荔莉, 徐庆华, 王斌, 何小海. 基于多模态数据的阿尔兹海默病分类方法[J]. 计算机应用, 2023, 43(S2): 298-305.

Yunxiao ZHANG, Xiaohong WU, Lili TANG, Qinghua XU, Bin WANG, Xiaohai HE. Alzheimer’s disease classification method based on multimodal data[J]. Journal of Computer Applications, 2023, 43(S2): 298-305.

图/表 10

参考文献 40

1	宋昕，洪羽蓉，胡秋莹.阿尔兹海默病发病原因及机制的研究进展［J］.临床和实验医学杂志， 2015，14（10）： 871-872. 10.3969/j.issn.1671-4695.2015.010.032
2	段火强，舒星辉，徐俊，等.基于PiB PET图像感兴趣区域的阿尔兹海默症计算机辅助分析［J］.中国生物医学工程学报， 2016， 35（6）： 641-647. 10.3969/j.issn.0258-8021.2016.06.001
3	戴志飞.分子探针在重大疾病诊疗中的应用、机遇与挑战［J］.科学通报， 2017， 62（1）： 25-35. 10.1360/N972016-00405
4	CHAPMAN K R， BINGCANAR H， ALOSCO M L， et al. Mini mental state examination and logical memory scores for entry into Alzheimer’s disease trials［J］. Alzheimers Research & Therapy， 2016， 8（1）： 8-9. 10.1186/s13195-016-0176-z
5	贾建平，王荫华，李焰生，等.中国痴呆与认知障碍诊治指南（二）：痴呆分型及诊断标准［J］.中华医学杂志， 2011， 91（10）： 651-655. 10.3760/cma.j.issn.0376-2491.2011.10.002
6	RIEDERER I， BOHN K P， PREIBISCH C， et al. Alzheimer disease and mild cognitive impairment： integrated pulsed arterial spin-labeling MRI and 18F-FDG PET［J］. Radiology， 2018， 288（1）： 198-206. 10.1148/radiol.2018170575
7	李珍珍.阿尔兹海默症多模态辅助诊断模型研究［D］.开封：河南大学， 2019： 7-13.
8	吕明媞，杨志军，张伟. PPARα与阿尔茨海默病的研究进展［J］.生物化学与生物物理进展， 2021， 48（8）： 866-874.
9	SENANAYAKE U， SOWMYA A， DAWES L. Deep fusion pipeline for mild cognitive impairment diagnosis ［C］// Proceedings of the 2018 IEEE 15th International Symposium on Biomedical Imaging. Piscataway： IEEE， 2018： 1394-1997. 10.1109/isbi.2018.8363832
10	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
11	HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 4700-4708. 10.1109/cvpr.2017.243
12	KARASAWA H， LIU C L， OHWADA H. Deep 3D convolutional neural network architectures for Alzheimer’s disease diagnosis ［C］// Proceedings of the 2018 Asian Conference on Intelligent Information and Database Systems. Cham： Springer， 2018： 287-296. 10.1007/978-3-319-75417-8_27
13	FOLEGO G， WEILER M， CASSEB R F， et al. Alzheimer's disease detection through whole-brain 3D-CNN MRI［J］. Frontiers in Bioengineering and Biotechnology， 2020（8）： 1-14. 10.3389/fbioe.2020.534592
14	PARMAR H， NUTTER B， LONG R， et al. Spatiotemporal feature extraction and classification of Alzheimer's disease using deep learning 3D-CNN for fMRI data［J］. Journal of Medical Imaging， 2020， 7（5）： 056001-1-05600-14. 10.1117/1.jmi.7.5.056001
15	PERRIN R J， FAGAN A M， HOLTZMAN D M. Multimodal techniques for diagnosis and prognosis of Alzheimer's disease［J］. Nature， 2009， 461（7266）： 916-922. 10.1038/nature08538
16	BAILEY D L， PICHLER B J， GÜCKEL B， et al. Combined PET/MRI： multi-modality multi-parametric imaging is here［J］. Molecular Imaging & Biology， 2015， 17（5）： 1-14. 10.1007/s11307-015-0886-9
17	NARAZANI M， SARASUA I， PÖLSTERL S， et al. Is a PET all you need？ A multi-modal study for Alzheimer’s disease using 3D CNNs ［C］// Proceedings of the 2022 International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer， 2022： 66-76. 10.1007/978-3-031-16431-6_7
18	KONG Z， ZHANG M， ZHU W， et al. Multi-modal data Alzheimer’s disease detection based on 3D convolution［J］. Biomedical Signal Processing and Control， 2022， 75： 103565. 10.1016/j.bspc.2022.103565
19	ZHANG D， WANG Y， ZHOU L， et al. Multimodal classification of Alzheimer’s disease and mild cognitive impairment ［J］. NeuroImage， 2011， 55（3）： 856-867. 10.1016/j.neuroimage.2011.01.008
20	YING Q， XING X， LIU L， et al. Multi-modal data analysis for Alzheimer’s disease diagnosis： An ensemble model using imagery and genetic features ［C］// Proceedings of the 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society. Piscataway： IEEE， 2021： 3586-3591. 10.1109/embc46164.2021.9630174
21	丁可.基于多模态融合的阿尔茨海默病分类预测研究［D］.上海：东华大学， 2022： 40-50.
22	LIU J， ZENG D， LU M， et al. Mild cognitive impairment identification based on multi-view graph convolutional networks ［C］// Proceedings of the Seventh International Conference on Advanced Cloud and Big Data. Piscataway： IEEE， 2019： 309-314. 10.1109/cbd.2019.00062
23	GUPTA Y， LAMA R K， KWON G R， et al. Prediction and classification of Alzheimer’s cerebrospinal fluid， MR， and FDG-PET imaging biomarkers［J］. Frontiers in Computational Neuroscience， 2019， 13： 72. 10.3389/fncom.2019.00072
24	SAMAN S， GHASSEM T. Classification of Alzheimer's disease using fMRI data and deep learning convolutional neural networks ［EB/OL］.［2016-03-29］. . 10.1101/070441
25	SAMAN S， GHASSEM T. Deep Learning-based pipeline to recognize Alzheimer's disease using fMRI data ［C］// Proceedings of the 2017 Future Technologies Conference. Piscataway： IEEE， 2017： 816-820. 10.1109/ftc.2016.7821697
26	薛景瑜.基于深度学习的多模态阿尔兹海默症预测方法研究［D］.济南：齐鲁工业大学， 2021： 2-5.
27	潘伟博.基于多模态深度学习的阿尔茨海默症辅助诊断方法研究［D］.昆明：昆明理工大学， 2021： 2-4.
28	XU B， WANG N， CHEN T， et al. Empirical evaluation of rectified activations in convolutional network ［EB/OL］. ［2015-05-5］. .
29	GLOROT X， BORDES A， BENGIO Y. Deep sparse rectifier neural networks ［C］// Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2011： 315-323.
30	MISH M D. A self regularized non-monotonic activation function ［EB/OL］. ［2019-08-23］. .
31	HU J， SHEN L， SUN G. Squeeze-and-excitation networks ［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
32	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module ［C］// Proceedings of the 2018 European Conference on Computer Vision. Cham： Springer， 2018： 3-19. 10.1007/978-3-030-01234-2_1
33	HOU Q， ZHOU D， FENG J. Coordinate attention for efficient mobile network design ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 13713-13722. 10.1109/cvpr46437.2021.01350
34	BÄCKSTRÖM K， NAZARI M， GU I Y H， et al. An efficient 3D deep convolutional network for Alzheimer's disease diagnosis using MR images ［C］// Proceedings of the IEEE 15th International Symposium on Biomedical Imaging. Piscataway： IEEE， 2018： 149-153. 10.1109/isbi.2018.8363543
35	王斌，吴晓红，辜蕊，等.基于改进ResNet的阿尔兹海默症分类网络［J］.智能计算机与应用， 2023， 13（3）： 69-76.
36	LIN W， GAO Q， DU M， et al. Multiclass diagnosis of stages of Alzheimer's disease using linear discriminant analysis scoring for multimodal data［J］. Computers in Biology and Medicine， 2021， 134： 104478. 10.1016/j.compbiomed.2021.104478
37	ABUHMED T， EL-SAPPAGH S， ALONSO J M. Robust hybrid deep learning models for Alzheimer’s progression detection［J］. Knowledge-Based Systems， 2021， 213： 106688. 10.1016/j.knosys.2020.106688
38	NAN F， LI S， WANG J， et al. A multi-classification accessment framework for reproducible evaluation of multimodal learning in Alzheimer's disease［J/OL］. IEEE/ACM Transactions on Computational Biology and Bioinformatics， 2022［2023-07-01］. doi：10.1099/TCBB.2022.3204619 .
39	LIU S， YADAV C， FERNANDEZ-GRANDA C， et al. On the design of convolutional neural networks for automatic detection of Alzheimer’s disease ［C］// Proceedings of the 2020 Machine Learning for Health Workshopat NeuIPS 2019. ［S.l.］： PMLR， 2021： 184-201.
40	ODUSAMI M， MASKELIŪNAS R， DAMAŠEVIČIUS R. An intelligent system for early recognition of Alzheimer’s disease using neuroimaging［J］. Sensors， 2022， 22（3）： 740. 10.3390/s22030740

多模态数据类型	详细数据
神经影像	MRI影像
认知量表	CDR、CDR-SOB、MMSE、常见问题作答
脑脊液	Tua蛋白、P-tua蛋白、Aβ
基因	ApoE

多模态数据类型	详细数据
神经影像	MRI影像
认知量表	CDR、CDR-SOB、MMSE、常见问题作答
脑脊液	Tua蛋白、P-tua蛋白、Aβ
基因	ApoE

数据集	类别	样本数	年龄		CDR		CDR-SOB		MMSE
数据集	类别	样本数	平均值	标准差	平均值	标准差	平均值	标准差	平均值	标准差
训练集	CN	426	74.76	7.53	0.04	0.11	0.12	0.29	28.95	1.56
	MCI	785	72.35	7.44	0.55	0.18	1.93	1.18	26.63	1.96
	AD	207	74.49	7.27	0.88	0.32	5.19	2.41	22.22	3.44
验证集	CN	109	74.63	6.87	0.03	0.09	0.07	0.36	29.06	0.94
	MCI	190	73.54	7.61	0.52	0.24	1.82	0.98	26.89	2.08
	AD	56	75.07	7.89	0.86	0.23	4.96	2.36	21.86	3.62
测试集	CN	90	75.47	8.17	0.03	0.08	0.13	0.27	29.03	1.11
	MCI	203	74.34	7.39	0.54	0.10	1.88	0.54	27.08	1.98
	AD	62	74.76	7.58	0.85	0.30	5.08	2.24	22.54	3.24

数据集	类别	样本数	年龄		CDR		CDR-SOB		MMSE
数据集	类别	样本数	平均值	标准差	平均值	标准差	平均值	标准差	平均值	标准差
训练集	CN	426	74.76	7.53	0.04	0.11	0.12	0.29	28.95	1.56
	MCI	785	72.35	7.44	0.55	0.18	1.93	1.18	26.63	1.96
	AD	207	74.49	7.27	0.88	0.32	5.19	2.41	22.22	3.44
验证集	CN	109	74.63	6.87	0.03	0.09	0.07	0.36	29.06	0.94
	MCI	190	73.54	7.61	0.52	0.24	1.82	0.98	26.89	2.08
	AD	56	75.07	7.89	0.86	0.23	4.96	2.36	21.86	3.62
测试集	CN	90	75.47	8.17	0.03	0.08	0.13	0.27	29.03	1.11
	MCI	203	74.34	7.39	0.54	0.10	1.88	0.54	27.08	1.98
	AD	62	74.76	7.58	0.85	0.30	5.08	2.24	22.54	3.24

方法	提出年份	网络输入	AD/MCI/CN	AD/CN
Lin方法^［36］	2021	MRI+PET+CSF+ GD+AGE	66.70	93.40
Abuhmed方法^［37］	2021	MRI+PET+CS+ GD+NP+D	74.45	—
Narazani方法^［17］	2023	MRI+PET	57.70	89.60
Nan方法^［38］	2022	MRI+PET+SNP	63.07	—
本文方法		MRI+CS+CSF+GD	75.77	92.89

基于多模态数据的阿尔兹海默病分类方法

Alzheimer’s disease classification method based on multimodal data

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 40

相关文章 15

编辑推荐

Metrics

网络输入	AD/MCI/CN	AD/CN
影像数据	62.26	84.49
非影像数据	73.18	90.32
融合后	75.77	92.89

实验序号	网络输入	AD/MCI/CN	AD/CN
1	CS+CSF+GD	73.18	90.32
2	MRI+CSF+GD	71.24	88.69
3	MRI+CS+GD	72.08	91.23
4	MRI+CS+CSF	74.85	92.31
5	MRI+CS+CSF+GD	75.77	92.89

网络模型	准确率		AD 敏感性	AD 特异性
网络模型	AD/MCI/CN	AD/CN	AD 敏感性	AD 特异性
ResNet18	56.84	75.62	86.37	65.06
Liu网络模型^［39］	59.35	80.23	87.43	67.32
Odusami网络模型^［40］	60.19	83.56	90.41	75.82
王斌网络模型^［35］	60.36	83.72	88.79	74.34
本文网络模型	62.26	84.49	90.84	78.53

实验序号	CA模块嵌入位置	AD/MCI/CN	AD/CN
1	B1-B2-B3-B4	56.84	75.62
2	CA-B1-B2-B3-B4	62.26	84.49
3	B1-CA-B2-B3-B4	58.63	79.64
4	B1-B2-CA-B3-B4	58.24	78.37
5	B1-B2-B3-CA-B4	57.54	76.85
6	B1-B2-B3-B4-CA	56.62	76.69

[1]	李向军, 王俊洪, 王诗璐, 陈金霞, 孙纪涛, 王建辉. 基于多模型并行融合网络的恶意流量检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(S2): 122-129.
[2]	郝铎, 曾令飞, 李成伟. 基于变分模态分解和长短期记忆网络的大平移抖动电子稳像算法[J]. 《计算机应用》唯一官方网站, 2023, 43(S2): 168-175.
[3]	李嘉元, 程江华, 刘通, 程榜, 潘乐昊. 基于密集连接的红外可见光图像融合方法[J]. 《计算机应用》唯一官方网站, 2023, 43(S2): 163-167.
[4]	周启宸, 王伯超. 基于改进YOLOv7的太阳能电池片表面缺陷检测[J]. 《计算机应用》唯一官方网站, 2023, 43(S2): 223-228.
[5]	石彬, 成苗, 张绍兵, 何莲. 半监督塑封烟盒退化图像修复算法[J]. 《计算机应用》唯一官方网站, 2023, 43(S2): 238-243.
[6]	莫桂棋, 夏益民, 邢延, 李卫军, 蔡述庭. 面向集成电路拥塞预测的版图数据扩充方法[J]. 《计算机应用》唯一官方网站, 2023, 43(S2): 261-267.
[7]	张涵钰, 李振波, 李蔚然, 杨普. 基于机器视觉的水产养殖计数研究综述[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2970-2982.
[8]	陈俊韬, 朱子奇. 基于多尺度特征提取与融合的图像复制-粘贴伪造检测[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2919-2924.
[9]	何子仪, 杨燕, 张熠玲. 深度融合多视图聚类网络[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2651-2656.
[10]	郭祥, 姜文刚, 王宇航. 基于改进Inception-ResNet的加密流量分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2471-2476.
[11]	崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.
[12]	张琨, 杨丰玉, 钟发, 曾广东, 周世健. 基于混合代码表示的源代码脆弱性检测[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2517-2526.
[13]	李校林, 杨松佳. 基于深度学习的多用户毫米波中继网络混合波束赋形[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2511-2516.
[14]	黄学雨, 贺怀宇, 林慧敏, 陈金水. 基于特征聚合的铜合金金相图分类识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2593-2601.
[15]	刘欢, 吴亮红, 张侣, 陈亮, 周博文, 张红强. 基于特征双融合CenterNet的白细胞检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2602-2610.