基于改进VGG网络的弱监督细粒度阿尔兹海默症分类方法

doi:10.11772/j.issn.1001-9081.2021020258

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (1): 302-309.DOI: 10.11772/j.issn.1001-9081.2021020258

基于改进VGG网络的弱监督细粒度阿尔兹海默症分类方法

邓爽(), 何小海, 卿粼波, 陈洪刚, 滕奇志

四川大学电子信息学院，成都 610065

收稿日期:2021-02-22 修回日期:2021-04-28 接受日期:2021-04-29 发布日期:2021-05-12 出版日期:2022-01-10
通讯作者: 邓爽
作者简介:邓爽（1995—），女，四川绵阳人，硕士研究生，主要研究方向：图像处理、模式识别、人工智能
何小海（1964—），四川绵阳人，教授，博士生导师，博士，主要研究方向：图像处理、模式识别、图像通信
卿粼波（1982—），男，四川简阳人，副教授，博士，主要研究方向：图像处理、模式识别、视频通信
陈洪刚（1991—），男，四川成都人，助理研究员，博士，主要研究方向：图像/视频理解、复原及压缩编码
滕奇志（1961—），女，四川成都人，教授，博士，主要研究方向：数字图像处理、模式识别、三维图像重建及分析。
基金资助:
成都市重大科技应用示范项目(2019-YF09-00120-SN)

Weakly supervised fine-grained classification method of Alzheimer’s disease based on improved visual geometry group network

Shuang DENG(), Xiaohai HE, Linbo QING, Honggang CHEN, Qizhi TENG

College of Electronics and Information Engineering，Sichuan University，Chengdu Sichuan 610065，China

Received:2021-02-22 Revised:2021-04-28 Accepted:2021-04-29 Online:2021-05-12 Published:2022-01-10
Contact: Shuang DENG
About author:DENG Shuang， born in 1995， M. S. candidate. Her research interests include image processing， pattern recognition， artificial intelligence.
HE Xiaohai， born in 1964， Ph. D.， professor. His research interests include image processing， pattern recognition， image communication.
QING Linbo， born in 1982， Ph. D.， associate professor. His research interests include image processing， pattern recognition， video communication.
CHEN Honggang， born in 1991， Ph. D.， research assistant. His research interests include image/video understanding， restoration and compression coding.
TENG Qizhi ， born in 1961， Ph. D.， professor. Her research interests include digital image processing， pattern recognition， 3D image reconstruction and analysis.
Supported by:
Chengdu Major Science and Technology Application Demonstration Project(2019-YF09-00120-SN)

摘要/Abstract

摘要：

针对阿尔兹海默症（AD）患者和正常（NC）人之间核磁共振成像（MRI）图像差别小、分类难度大的问题，提出了基于改进VGG网络的弱监督细粒度AD分类方法。该方法以弱监督数据增强网络（WSDAN）为基本模型，主要由弱监督注意力学习模块、数据增强模块及双线性注意力池化模块等构成。首先，通过弱监督力注意学习模块生成特征图和注意力图，并利用注意力图引导数据增强，将原图和增强后的数据同时作为输入数据进行训练；然后，通过双线性注意力池化算法将特征图和注意力图按元素进行点乘，进而得到特征矩阵；最后，将特征矩阵作为线性分类层的输入。将以VGG19作为特征提取网络的WSDAN基本模型应用到AD的MRI数据上，实验结果表明，仅使用图像增强的模型的准确性、敏感性和特异性分别比WSDAN基本模型提高了1.6个百分点、0.34个百分点和0.12个百分点；仅利用VGG19网络的改进的模型的准确性和特异性相较WSDAN基本模型分别提高了0.7个百分点和2.82个百分点；以上两个方法结合使用的模型与WSDAN基本模型相比，准确性、敏感性和特异性分别提高了2.1个百分点、1.91个百分点和2.19个百分点。

关键词: 改进VGG网络, 弱监督, 细粒度分类, 数据增强, 阿尔兹海默症

Abstract:

In order to solve the problems of small difference of Magnetic Resonance Imaging （MRI） images between Alzheimer’s Disease （AD） patients and Normal Control （NC） people and great difficulty in classification of them， a weakly supervised fine-grained classification method for AD based on improved Visual Geometry Group （VGG） network was proposed. In this method， Weakly Supervised Data Augmentation Network （WSDAN） was took as the basic model， which was mainly composed of weakly supervised attention learning module， data augmentation module and bilinear attention pooling module. Firstly， the feature map and the attention map were generated through weakly supervised attention learning network， and the attention map was used to guide the data augmentation. Both the original image and the augmented data were used as the input data for training. Then， point production between the feature map and the attention map was performed by elements via bilinear attention pooling algorithm to obtain the feature matrix. Finally， the feature matrix was used as the input of the linear classification layer. Experimental results of applying WSDAN basic model with VGG19 as feature extraction network on MRI data of AD show that， compared with the WSDAN basic model， the proposed model only with image enhancement has the accuracy， sensitivity and specificity increased by 1.6 percentage points， 0.34 percentage points and 0.12 percentage points respectively； the model only using the improvement of VGG19 network has the accuracy and specificity improved by 0.7 percentage points and 2.82 percentage points respectively； the model combing the two methods above has the accuracy， sensitivity and specificity improved by 2.1 percentage points， 1.91 percentage points and 2.19 percentage points respectively.

Key words: improved Visual Geometry Group (VGG) network, weakly supervised, fine-grained classification, data augmentation, Alzheimer’s Disease (AD)

中图分类号:

TP751

邓爽, 何小海, 卿粼波, 陈洪刚, 滕奇志. 基于改进VGG网络的弱监督细粒度阿尔兹海默症分类方法[J]. 计算机应用, 2022, 42(1): 302-309.

Shuang DENG, Xiaohai HE, Linbo QING, Honggang CHEN, Qizhi TENG. Weakly supervised fine-grained classification method of Alzheimer’s disease based on improved visual geometry group network[J]. Journal of Computer Applications, 2022, 42(1): 302-309.

图/表 15

图1 WSDAN架构

Fig. 1 WSDAN architecture

图2 脑部MRI初始图片与增强后对比

Fig. 2 Comparison of initial and enhanced MRI images of brain

图3 VGG19网络结构

Fig. 3 Structure of VGG19 network

表1 VGG19网络参数

Tab.1 VGG19 network parameters

卷积层	通道数	网络参数
Conv1	64	kernel： $3 × 3$ ，stride：1，padding：1
MaxPool1	64	kernel： $2 × 2$ ，stride：2
Conv2	128	kernel： $3 × 3$ ，stride：1，padding：1
MaxPool2	128	kernel： $2 × 2$ ，stride：2
Conv3	256	kernel： $3 × 3$ ，stride：1，padding：1
MaxPool3	256	kernel： $2 × 2$ ，stride：2
Conv4	512	kernel： $3 × 3$ ，stride：1，padding：1
MaxPool4	512	kernel： $2 × 2$ ，stride：2
Conv5	512	kernel： $3 × 3$ ，stride：1，padding：1
MaxPool5	512	kernel： $2 × 2$ ，stride：2

表1 VGG19网络参数

Tab.1 VGG19 network parameters

卷积层	通道数	网络参数
Conv1	64	kernel： $3 × 3$ ，stride：1，padding：1
MaxPool1	64	kernel： $2 × 2$ ，stride：2
Conv2	128	kernel： $3 × 3$ ，stride：1，padding：1
MaxPool2	128	kernel： $2 × 2$ ，stride：2
Conv3	256	kernel： $3 × 3$ ，stride：1，padding：1
MaxPool3	256	kernel： $2 × 2$ ，stride：2
Conv4	512	kernel： $3 × 3$ ，stride：1，padding：1
MaxPool4	512	kernel： $2 × 2$ ，stride：2
Conv5	512	kernel： $3 × 3$ ，stride：1，padding：1
MaxPool5	512	kernel： $2 × 2$ ，stride：2

图4 VGG19网络的特征提取部分

Fig. 4 Feature extraction part of VGG19 network

图5 改进的VGG19网络的特征提取部分

Fig. 5 Feature extraction part of improved VGG19 network

图6 特征网络可视化对比

Fig. 6 Visualization comparison of feature networks

图7 测试集中的图片

Fig. 7 Images in test set

表2 传统的分类网络性能对比 (%)

Tab.2 Performance comparison of traditional classification networks

模型	准确性	敏感性	特异性
VGG19	92.20	92.49	91.87
ResNet101	91.90	92.81	90.93

表3 使用不同特征提取网络的WSDAN基础网络模型 (%)

Tab.3 WSDAN basic network models with different feature extraction networks

模型（特征网络）	准确性	敏感性	特异性
WSDAN（VGG19）	94.30	95.90	92.80
WSDAN（ResNet101）	95.10	97.40	92.81
WSDAN （Inception）	94.80	95.60	94.06

表4 增强图像后模型的训练结果与基础网络模型结果的对比 (%)

Tab.4 Comparison of training results of models with enhanced images and results of basic network models

模型（特征网络）	准确性	敏感性	特异性
WSDAN（VGG19）	94.30	95.90	92.80
WSDAN_d（VGG19）	95.90	96.24	93.12
WSDAN（ResNet101）	95.10	97.40	92.81
WSDAN_d（ResNet101）	95.40	96.24	93.10
WSDAN （Inception）	94.80	95.60	94.06
WSDAN_d （Inception）	95.90	95.93	95.92

表5 使用改进的VGG19网络的模型与使用基础VGG19网络的模型对比 (%)

Tab.5 Comparison of model with improved VGG19 network and model with basic VGG19 network

模型（特征网络）	准确性	敏感性	特异性
WSDAN（VGG19）	94.30	95.90	92.80
WSDAN（改进VGG19）	95.00	95.57	95.62

表6 增加不同的卷积层对比 (%)

Tab.6 Comparison of adding different convolutional layers

模型（特征网络）	准确性	敏感性	特异性
WSDAN（改进_1）	92.60	93.12	92.18
WSDAN（改进_2）	95.40	93.75	97.19
WSDAN（改进_3）	96.40	97.81	94.99
WSDAN（改进_4）	87.03	92.49	81.56

表7 增强图像结合改进网络的模型与基础网络模型的对比 (%)

Tab.7 Comparison of model with enhanced images combining improved network and basic network model

模型（特征网络）	准确性	敏感性	特异性
WSDAN（VGG19）	94.30	95.90	92.80
WSDAN_d（改进VGG19）	96.40	97.81	94.99

表8 不同分类网络的指标对比 (%)

Tab. 8 Comparison of indicators of different classification networks

模型	准确性	敏感性	特异性
VGG19	92.20	92.49	91.87
ResNet101	91.90	92.81	90.93
NTS_Net	92.30	94.69	90.00
WSDAN	94.30	95.90	92.80
本文方法	96.40	97.81	94.99

参考文献 23

1	叶玉如. 老年痴呆症——现代脑科学和医学研究面临的严峻挑战［J］. 生命科学， 2014， 26（1）：1. （YE Y R. Alzheimer’s disease： a tough challenge faced by modern brain science and medical research［J］. Chinese Bulletin of Life Science， 2014， 26（1）：1.）
2	BROOKMEYER R， JOHNSON E， ZIEGLER-GRAHAM K， et al. Forecasting the global burden of Alzheimer’s disease［J］. Alzheimer’s and Dementia， 2007， 3（3）：186-191. 10.1016/j.jalz.2007.04.381
3	林伟铭，高钦泉，杜民. 卷积神经网络诊断阿尔兹海默症的方法［J］.计算机应用， 2017， 37（12）：3504-3508. 10.11772/j.issn.1001-9081.2017.12.3504
	LIN W M， GAO Q Q， DU M. Convolutional neural network based method for the diagnosis of Alzheimer’s disease［J］. Journal of Computer Applications， 2017， 37（12）：3504-3508. 10.11772/j.issn.1001-9081.2017.12.3504
4	YANG Z， LUO T G， WANG D， et al. Learning to navigate for fine-grained classification［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS11218. Chan： Springer， 2018：420-435.
5	LAM M， MAHASSENI B， TODOROVIC S. Fine-grained recognition as HSnet search for informative image parts［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017：6497-6506. 10.1109/cvpr.2017.688
6	边小勇，江沛龄，赵敏，等. 基于多分支神经网络模型的弱监督细粒度图像分类方法［J］. 计算机应用， 2020， 40（5）：1295-1300.
	BIAN X Y， JIANG P L， ZHAO M， et al. Multi-branch neural network model based weakly supervised fine-grained image classification method［J］. Journal of Computer Applications， 2020， 40（5）：1295-1300.
7	陆鑫伟，余鹏飞，李海燕，等. 基于注意力自身线性融合的弱监督细粒度图像分类算法［J］. 计算机应用， 2021， 41（5）： 1319-1325. 10.1109/iaeac50856.2021.9390994
	LU X W， YU P F， LI H Y， et al. Weakly supervised fine-grained image classification algorithm based on attention-attention bilinear pooling［J］. Journal of Computer Applications ， 2021， 41（5）： 1319-1325. 10.1109/iaeac50856.2021.9390994
8	XIAO T J， XU Y C， YANG K Y， et al. The application of two-level attention models in deep convolutional neural network for fine-grained image classification［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015：842-850. 10.1109/cvpr.2015.7298685
9	JADERBERG M， SIMONYAN K， ZISSERMAN A， et al. Spatial transformer networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680. 10.5244/c.28.88
10	FU J L， ZHENG H L， MEI T， et al. Look closer to see better： recurrent attention convolutional neural network for fine-grained image recognition［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017：4476-4484. 10.1109/cvpr.2017.476
11	HU T， QI H G， HUANG Q M， et al. See better before looking closer： weakly supervised data augmentation network for fine-grained visual classification［EB/OL］. （2019-03-23）［2021-04-19］.. 10.1109/icme46284.2020.9102790
12	丁文谦，余鹏飞，李海燕，等. 基于Xception网络的弱监督细粒度图像分类［J/OL］. 计算机工程与应用. （2020-12-25）［2021-01-25］.，
	YU P F， LI H Y， et al. Weakly supervised fine-grained image classification based on Xception network［J/OL］. Computer Engineering and Applications. （2020-12-25）［2021-01-25］.
13	李振东，钟勇，陈蔓，等. 角度余量损失和中心损失联合的深度人脸识别［J］. 计算机应用， 2019， 39（S2）：55-58. 10.1109/icsidp47821.2019.9173230
	LI Z D， ZHONG Y， CHEN M， et al. Deep face recognition combined with angular margin loss and center loss［J］. Journal of Computer Applications， 2019， 39（S2）：55-58. 10.1109/icsidp47821.2019.9173230
14	朱学玲，刘丽. 图像增强中的平滑滤波技术［J］. 科技信息， 2012（32）：512. 10.3969/j.issn.1001-9960.2012.32.464
	ZHU X L， LIU L. Smooth filtering technology in image enhancement［J］. Science and Technology Information， 2012（32）：512. 10.3969/j.issn.1001-9960.2012.32.464
15	郭红伟，余江，朱家兴，等. 基于局部直方图的加权均值滤波器［J］. 计算机应用， 2010， 30（11）：3019-3021. 10.3724/sp.j.1087.2010.03019
	GUO H W， YU J， ZHU J X， et al. Weighted mean filter based on local histogram［J］. Journal of Computer Applications， 2010， 30（11）：3019-3021. 10.3724/sp.j.1087.2010.03019
16	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-01-19］.. 10.5244/c.28.6
17	颜晨欢，李白，章超杰，等. 一种基于VGG的手写字母识别算法［J］. 信息技术与信息化， 2020（12）：63-65. 10.3969/j.issn.1672-9528.2020.12.019
	YAN C H， LI B， ZHANG C J， et al. A handwritten letter recognition algorithm based on VGG［J］. Information Technology and Informatization， 2020（12）：63-65. 10.3969/j.issn.1672-9528.2020.12.019
18	王羽徵，程远，毕海，等. 基于深度学习VGG网络的海洋单细胞藻类识别算法研究［J］. 大连海洋大学学报， 2021， 36（2）：334-339.
	WANG Y Z， CHENG Y， BI H， et al. Recognition algorithm of marine single-cell algae based on deep learning VGG network［J］. Journal of Dalian Ocean University， 2021， 36（2）：334-339.
19	陈津徽，张元良，尹泽睿. 基于改进的VGG19网络的面部表情识别［J］. 电脑知识与技术， 2020， 16（29）：187-188. 10.1117/12.2574468
	CHEN J H， ZHANG Y L， YIN Z R. Facial expression recognition based on improved VGG19 network［J］. Computer Knowledge and Technology， 2020， 16（29）：187-188. 10.1117/12.2574468
20	SELVARAJU R R， COGSWELL M， DAS A， et al. Grad-CAM： visual explanations from deep networks via gradient-based localization［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017：618-626. 10.1109/iccv.2017.74
21	CHATTOPADHAY A， SARKAR A， HOWLADER P， et al. Grad-CAM++： generalized gradient-based visual explanations for deep convolutional networks［C］// Proceedings of the 2018 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2018：839-847. 10.1109/wacv.2018.00097
22	陆小玲，吴海锋，曾玉，等. 3D迁移网络的阿尔茨海默症分类研究［J］. 计算机工程与应用， 2021， 57（16）：253-262. 10.1109/icccr49711.2021.9349393
	LU X L， WU H F， ZENG Y， et al. 3D transfer learning network for classification of Alzheimer’s disease［J］. Computer Engineering and Applications， 2021， 57（16）：253-262. 10.1109/icccr49711.2021.9349393
23	张柏雯，林岚，吴水才. 基于AlexNet模型的AD分类［J］. 北京工业大学学报， 2020， 46（1）：68-74. 10.11936/bjutxb2018070029
	ZHANG B W， LIN L， WU S C. Efficient Alzheimer’s disease classification based on AlexNet model［J］. Journal of Beijing University of Technology， 2020， 46（1）：68-74. 10.11936/bjutxb2018070029

[1]	杨莹, 郝晓燕, 于丹, 马垚, 陈永乐. 面向图神经网络模型提取攻击的图数据生成方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2483-2492.
[2]	汪炅, 唐韬韬, 贾彩燕. 无负采样的正样本增强图对比学习推荐方法PAGCL[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1485-1492.
[3]	朱子蒙, 李志新, 郇战, 陈瑛, 梁久祯. 基于三元中心引导的弱监督视频异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1452-1457.
[4]	郭洁, 林佳瑜, 梁祖红, 罗孝波, 孙海涛. 基于知识感知和跨层次对比学习的推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1121-1127.
[5]	郭安迪, 贾真, 李天瑞. 基于伪实体数据增强的高精准率医学领域实体关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 393-402.
[6]	党伟超, 张磊, 高改梅, 刘春霞. 融合片段对比学习的弱监督动作定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 548-555.
[7]	宋逸飞, 柳毅. 基于数据增强和标签噪声的快速对抗训练方法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3798-3807.
[8]	胡新荣, 陈静雪, 黄子键, 王帮超, 姚迅, 刘军平, 朱强, 杨捷. 基于图卷积网络的掩码数据增强[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3335-3344.
[9]	王强, 黄小明, 佟强, 刘秀磊. 基于边界框标注的弱监督显著性目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1910-1918.
[10]	蔡引江, 许光俊, 马喜波. 图结构表示下的药物数据增强方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1136-1141.
[11]	林呈宇, 王雷, 薛聪. 标签语义增强的弱监督文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 335-342.
[12]	孙邱杰, 梁景贵, 李思. 基于BART噪声器的中文语法纠错模型[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 860-866.
[13]	胡聪, 华钢. 基于注意力机制的弱监督动作定位方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 960-967.
[14]	曹一珉, 蔡磊, 高敬阳. 基于生成对抗网络的基因数据生成方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 783-790.
[15]	彭禹, 宋耀莲, 杨俊. 基于数据增强的运动想象脑电分类[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3625-3632.

基于改进VGG网络的弱监督细粒度阿尔兹海默症分类方法

Weakly supervised fine-grained classification method of Alzheimer’s disease based on improved visual geometry group network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 23

相关文章 15

编辑推荐

Metrics