双线性内卷神经网络用于眼底疾病图像分类

doi:10.11772/j.issn.1001-9081.2021111932

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (1): 259-264.DOI: 10.11772/j.issn.1001-9081.2021111932

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

双线性内卷神经网络用于眼底疾病图像分类

杨洪刚, 陈洁洁, 徐梦飞

湖北师范大学计算机与信息工程学院，湖北黄石 435002

收稿日期:2021-12-08 修回日期:2022-06-02 发布日期:2023-01-12
通讯作者: 陈洁洁（1982—），女，湖北黄石人，副教授，博士，主要研究方向：神经网络算法、控制工程与科学chenjiejie@hbnu.edu.cn
作者简介:杨洪刚（1997—），男，山东济宁人，硕士研究生，主要研究方向：计算机视觉、医学图像处理；徐梦飞（1997—），男，湖北黄石人，硕士研究生，主要研究方向：人工智能时序预测、数据挖掘；
基金资助:
国家自然科学基金资助项目（61976085）。

Bilinear involution neural network for image classification of fundus diseases

YANG Honggang, CHEN Jiejie, XU Mengfei

College of Computer and Information Engineering， Hubei Normal University， Huangshi Hubei 435002， China

Received:2021-12-08 Revised:2022-06-02 Online:2023-01-12
Contact: CHEN Jiejie， born in 1982， Ph. D.， associate professor. Her research interests include neural network algorithm， control engineering and science.
About author:YANG Honggang， born in 1997， M. S. candidate. His research interests include computer vision， medical image processing；XU Mengfei， born in 1997， M. S. candidate. His research interests include artificial intelligence time series prediction， data mining；
Supported by:
This work is partially supported by National Natural Science Foundation of China （61976085）.

摘要/Abstract

摘要： 由于眼底图像具有复杂程度高、个体差异弱、类间距离短等特点，纯卷积神经网络（CNN）和基于注意力的网络并不能在眼底疾病图像分类任务上达到令人满意的精度。因此，采用involution算子实现了注意力双线性内卷神经网络（ABINN）模型用于眼底疾病图像分类。ABINN模型的参数量仅是传统双线性卷积神经网络（BCNN）模型的11%，并提取了眼底图像的底层语义信息和空间结构信息进行二阶特征融合，是CNN和注意力方法的有效并联。此外，提出了两种基于involution算子实现注意力计算的实例化方法：基于图块的注意力子网络（AST）和基于像素的注意力子网络（ASX），这两种方法可以在CNN的基础结构内完成注意力的计算，从而使双线性子网络能在同一个架构下训练并进行特征融合。在公开眼底图像数据集OIA-ODIR上进行实验，结果显示ABINN模型的精度为85%，比通用BCNN模型提高了15.8个百分点，比TransEye模型提高了0.9个百分点。

关键词: 眼底图像, 注意力机制, involution算子, 二阶特征融合, OIA-ODIR数据集

Abstract: Due to the high complexity， weak individual differences， and short inter-class distances of fundus image features， pure Convolutional Neural Networks （CNNs） and attention based networks cannot achieve satisfactory accuracy in fundus disease image classification tasks. To this end， Attention Bilinear Involution Neural Network （ABINN） model was implemented for fundus disease image classification by using the involution operator. The parameter amount of ABINN model was only 11% of that of the traditional Bilinear Convolutional Neural Network （BCNN） model. In ABINN model， the underlying semantic information and spatial structure information of the fundus image were extracted and the second-order features of them were fused. It is an effective parallel connection between CNN and attention method. In addition， two instantiation methods for attention calculation based on involution operator， Attention Subnetwork based on PaTch （AST） and Attention Subnetwork based on PiXel （ASX）， were proposed. These two methods were able to calculate attention within the CNN basic structure， thereby enabling bilinear sub-networks to be trained and fused in the same architecture. Experimental results on public fundus image dataset OIA-ODIR show that ABINN model has the accuracy of 85%， which is 15.8 percentage points higher than that of the common BCNN model and 0.9 percentage points higher than that of TransEye （Transformer Eye） model.

Key words: fundus image, attention mechanism, involution operator, second-order feature fusion, OIA-ODIR dataset

中图分类号:

TP391.4

杨洪刚, 陈洁洁, 徐梦飞. 双线性内卷神经网络用于眼底疾病图像分类[J]. 计算机应用, 2023, 43(1): 259-264.

YANG Honggang, CHEN Jiejie, XU Mengfei. Bilinear involution neural network for image classification of fundus diseases[J]. Journal of Computer Applications, 2023, 43(1): 259-264.

参考文献

1 王煜杰. 眼底图像病变区域的提取与识别［D］. 成都：电子科技大学， 2019： 1-16. WANG Y J. Extraction and recognition of lesions in fundus images［D］. Chengdu： University of Electronic Science and Technology of China， 2019： 1-16.
2 ASHISH K， ROLANDO E. Dynamic deep networks for retinal vessel segmentation［J］. Frontiers in Computer Science， 2020， 2： No.35. 10.3389/fcomp.2020.00035
3 王宇光，李峰. 基于集成Inception-v4的糖尿病性视网膜病变图像分类［J］. 软件导刊， 2021， 20（5）：164-167. 10.11907/rjdk.201985 WANG Y G， LI F. Classification of diabetic retinopathy images based on ensemble Inception-v4［J］. Software Guide， 2021， 20（5）： 164-167. 10.11907/rjdk.201985
4 姜声. 基于ResNet的眼底图像分类及描述［D］. 烟台：山东工商学院， 2019： 1-59. JIANG S. Classification and description of fundus images based on ResNet ［D］. Yantai： Shandong Technology and Business University， 2019： 1-59.
5 HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）：1735-1780. 10.1162/neco.1997.9.8.1735
6 LI X R， ZHOU Y， WANG J， et al. Multi-modal multi-instance learning for retinal disease recognition ［C］// Proceedings of the 29th ACM International Conference on Multimedia. New York： ACM， 2021： 2474-2482. 10.1145/3474085.3475418
7 MEHROTRA A， TRIPATHI S， SINGH K K， et al. Blood vessel extraction for retinal images using morphological operator and KCN clustering［C］// Proceedings of the 2014 IEEE International Advance Computing Conference. Piscataway： IEEE， 2014： 1142-1146. 10.1109/iadcc.2014.6779487
8 LIN T Y， RoyCHOWDHURY A， MAJI S. Bilinear CNN models for fine-grained visual recognition［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1449-1457. 10.1109/iccv.2015.170
9 SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-08-20］.https：//arxiv.org/pdf/1409.1556.pdf.
10 GAO Y， BEIJBOM O， ZHANG N， et al. Compact bilinear pooling［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016：317-326. 10.1109/cvpr.2016.41
11 KONG S， FOWLKES C. Low-rank bilinear pooling for fine-grained classification［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 7025-7034. 10.1109/cvpr.2017.743
12 ZHENG H L， FU J L， ZHA Z J， et al. Learning deep bilinear transformation for fine-grained image representation［C/OL］// Proceedings of the 33rd Conference on Neural Information Processing Systems ［2021-08-20］.https：//proceedings.neurips.cc/paper/2019/file/959ef477884b6ac2241b19ee4fb776ae-Paper.pdf. 10.1109/cvpr.2019.00515
13 VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：6000-6010.
14 YU Y W， XU Z M， LV Y， et al. TransFG： a fine-grained model for knowledge graph embedding［C］// Proceedings of the 2019 International Conference on Web Information Systems and Applications， LNCS 11817. Cham： Springer， 2019：455-466.
15 YANG H， CHEN J， XU M. Fundus disease image classification based on improved transformer［C］// Proceedings of the 2021 International Conference on Neuromorphic Computing. Piscataway： IEEE， 2021： 207-214. 10.1109/icnc52316.2021.9608181
16 LI D， HU J， WANG C H， et al. Involution： inverting the inherence of convolution for visual recognition［C］// Proceedings of the 2021 IEEE/CVG Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021：248-255. 10.1109/cvpr46437.2021.01214
17 李涛. 南开大学参研OIA系列数据集面向社会公开发布［EB/OL］. （2019-12-09）［2021-10-12］.https：//cyber.nankai.edu.cn/2019/1209/c13342a255556/page.htm. LI T. Nankai University participated in the research of OIA series datasets， which are released to the public［EB/OL］. （2019-12-09）［2021-10-12］.https：//cyber.nankai.edu.cn/2019/1209/c13342a255556/page.htm.
18 DENG J， DONG W， SOCHER R， et al. ImageNet： a large-scale hierarchical image database［C］// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2009：248-255. 10.1109/cvpr.2009.5206848
19 HOOVERA D， KOUZNETSOVA V， GOLDBAUM M. Locating blood vessels in retinal images by piecewise threshold probing of a matched filter response［J］. IEEE Transactions on Medical Imaging， 2000， 19（3）：203-210. 10.1109/42.845178
20 HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016：770-778. 10.1109/cvpr.2016.90
21 JIANG J D， ZHENG L N， LUO F， et al. RedNet： residual encoder-decoder network for indoor RGB-D semantic segmentation［EB/OL］. （2018-08-06）［2021-10-12］.https：//arxiv.org/pdf/1806.01054.pdf.
22 DOSOBITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： transformers for image recognition at scale［EB/OL］. （2021-06-03）［2021-10-12］.https：//arxiv.org/pdf/2010.11929.pdf.
23 YU W H， LUO M， ZHOU P， et al. MetaFormer is actually what you need for vision［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022：10809-10819. 10.1109/cvpr52688.2022.01055
24 LIU Z， LIN Y T， CAO Y， et al. Swin Transformer： hierarchical vision transformer using shifted windows［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021：9992-10002. 10.1109/iccv48922.2021.00986
25 KRIZHEYSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2012： 1097-1105.
26 SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016：2818-2826. 10.1109/cvpr.2016.308
27 DING X H， GUO Y C， DING G G， et al. ACNet： strengthening the kernel skeletons for powerful CNN via asymmetric convolution blocks［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019：1911-1920. 10.1109/iccv.2019.00200
28 王晓华，赵志雄. 结合伽马变换和小波变换的PCA人脸识别算法［J］. 计算机工程与应用， 2016， 52（5）：190-193. 10.3778/j.issn.1002-8331.1403-0060 WANG X H， ZHAO Z X. PCA face recognition algorithm combined with gamma transform and wavelet transform［J］. Computer Engineering and Applications， 2016， 52（5）：190-193. 10.3778/j.issn.1002-8331.1403-0060
29 王萍，张春，罗颖昕. 一种雾天图像低对比度增强的快速算法［J］. 计算机应用， 2006， 26（1）：152-153， 156. 10.1016/S0379-4172(06)60092-9 WANG P， ZHANG C， LUO Y X. Fast algorithm to enhance contrast of fog-degraded images［J］. Journal of Computer Applications， 2006， 26（1）：152-153， 156. 10.1016/S0379-4172(06)60092-9
30 WANG H Y， ZHU Y K， GREEN B， et al. Axial-DeepLab： stand-alone axial-attention for panoptic segmentation ［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12349. Cham： Springer， 2020： 108-126. 10.1007/978-3-030-58548-8_7

[1]	刘源, 董永权, 贾瑞, 杨昊霖. 面向个性化课程推荐的分层分期注意力网络模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2358-2363.
[2]	崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.
[3]	齐爱玲, 王宣淋. 基于中层细微特征提取与多尺度特征融合细粒度图像识别[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2556-2563.
[4]	金泽熙, 李磊, 刘继. 基于改进领域分离网络的迁移学习模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2382-2389.
[5]	王静红, 周志霞, 王辉, 李昊康. 双路自编码器的属性网络表示学习[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2338-2344.
[6]	梁美佳, 刘昕武, 胡晓鹏. 基于改进YOLOv3的列车运行环境图像小目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2611-2618.
[7]	段升位, 程欣宇, 王浩舟, 王飞. 基于改进的YOLOv5的大坝表面病害检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2619-2629.
[8]	魏远, 林彦, 郭晟楠, 林友芳, 万怀宇. 融合出发地与目的地时空相关性的城市区域间出租车需求预测[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2100-2106.
[9]	李忠雨, 孙浩东, 李娇. 轻量化篮球裁判手势识别算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2173-2181.
[10]	郑帅, 张晓龙, 邓鹤, 任宏伟. 基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2303-2310.
[11]	梁敏, 刘佳艺, 李杰. 融合迭代反馈与注意力机制的图像超分辨重建方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2280-2287.
[12]	叶坤佩, 熊熙, 丁哲. 基于领域融合和时间权重的招工推荐模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2133-2139.
[13]	拓雨欣, 薛涛. 融合指针网络与关系嵌入的三元组联合抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2116-2124.
[14]	秦源源, 张鸿. 基于注意力特征金字塔网络的肺结节检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2311-2318.
[15]	郑智雄, 刘建华, 孙水华, 徐戈, 林鸿辉. 融合多窗口局部信息的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1796-1802.

双线性内卷神经网络用于眼底疾病图像分类

Bilinear involution neural network for image classification of fundus diseases

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics