基于U-Net的多尺度特征增强视网膜血管分割算法

doi:10.11772/j.issn.1001-9081.2022091437

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (10): 3275-3281.DOI: 10.11772/j.issn.1001-9081.2022091437

• 多媒体计算与计算机仿真 • 上一篇

基于U-Net的多尺度特征增强视网膜血管分割算法

张志昂¹(), 廖光忠²

^1.武汉科技大学计算机科学与技术学院，武汉 430065
^2.智能信息处理与实时工业系统湖北省重点实验室（武汉科技大学），武汉 430065

收稿日期:2022-09-28 修回日期:2022-11-28 接受日期:2022-12-13 发布日期:2023-04-11 出版日期:2023-10-10
通讯作者: 张志昂
作者简介:廖光忠（1969—），男，贵州贵阳人，副教授，硕士，CCF会员，主要研究方向：物联网、信息安全。
基金资助:
武汉市重点研发计划项目(2022012202015070)

Multi-scale feature enhanced retinal vessel segmentation algorithm based on U-Net

Zhiang ZHANG¹(), Guangzhong LIAO²

^1.School of Computer Science and Technology，Wuhan University of Science and Technology，Wuhan Hubei 430065，China
^2.Hubei Province Key Laboratory of Intelligent Information Processing and Real?time Industrial System （Wuhan University of Science and Technology），Wuhan Hubei 430065，China

Received:2022-09-28 Revised:2022-11-28 Accepted:2022-12-13 Online:2023-04-11 Published:2023-10-10
Contact: Zhiang ZHANG
About author:LIAO Guangzhong， born in 1969， M. S.， associate professor. His research interests include internet of things， information safety.
Supported by:
Key Research and Development Program of Wuhan(2022012202015070)

摘要/Abstract

摘要：

针对传统视网膜血管分割算法存在血管分割精度低和病灶区域误分割等缺点，提出一种基于U-Net的多尺度特征增强视网膜血管分割算法（MFEU-Net）。首先，为解决梯度消失问题，设计一种改进的特征信息增强残差模块（FIE-RM）替代U-Net的卷积块；其次，为扩大感受野并提高对血管信息特征的抽取能力，在U-Net的底部引入多尺度密集空洞卷积模块；最后，为减少编解码过程中的信息损失，在U-Net的跳跃连接处构建多尺度通道增强模块。在DRIVE（Digital Retinal Images for Vessel Extraction）和CHASE_DB1数据集上的实验结果表明，与在视网膜血管分割方面表现次优的算法CS-Net（Channel and Spatial attention Network）相比，MFEU-Net的F1分数分别提高了0.35和1.55个百分点，曲线下面积（AUC）分别提高了0.34和1.50个百分点，这验证了MFEU-Net可以有效提高对视网膜血管分割的准确性和鲁棒性。

关键词: 视网膜血管分割, U-Net, 多尺度信息, 密集空洞卷积, 残差网络, 病灶区域

Abstract:

Aiming at the shortcomings of traditional retinal vessel segmentation algorithm such as low accuracy of vessel segmentation and mis-segmentation of focal areas， a Multi-scale Feature Enhanced retinal vessel segmentation algorithm based on U-Net （MFEU-Net） was proposed. Firstly， in order to solve the vanishing gradient problem， an improved Feature Information Enhancement Residual Module （FIE-RM） was designed to replace the convolution block of U-Net. Secondly， in order to enlarge the receptive field and improve the extraction ability of vascular information features， a multi-scale dense atrous convolution module was introduced at the bottom of U-Net. Finally， in order to reduce the information loss in the process of encoding and decoding， a multi-scale channel enhancement module was constructed at the skip connection of U-Net. Experimental results on Digital Retinal Images for Vessel Extraction （DRIVE） and CHASE_DB1 datasets show that compared with CS-Net （Channel and Spatial attention Network）， the suboptimal algorithm in retinal vessel segmentation， MFEU-Net has the F1 score improved by 0.35 and 1.55 percentage points respectively， and the Area Under Curve （AUC） improved by 0.34 and 1.50 percentage points respectively. It is verified that MFEU-Net can improve the accuracy and robustness of retinal vessel segmentation effectively.

Key words: retinal vessel segmentation, U-Net, multi-scale information, dense atrous convolution, residual network, focal area

中图分类号:

TP391

张志昂, 廖光忠. 基于U-Net的多尺度特征增强视网膜血管分割算法[J]. 计算机应用, 2023, 43(10): 3275-3281.

Zhiang ZHANG, Guangzhong LIAO. Multi-scale feature enhanced retinal vessel segmentation algorithm based on U-Net[J]. Journal of Computer Applications, 2023, 43(10): 3275-3281.

图/表 11

参考文献 21

1	CHEN C， CHUAH J H， ALI R， et al. Retinal vessel segmentation using deep learning： a review［J］. IEEE Access， 2021， 9： 111985-112004. 10.1109/access.2021.3102176
2	YAN Z， YANG X， CHENG K T. A three-stage deep learning model for accurate retinal vessel segmentation［J］. IEEE Journal of Biomedical and Health Informatics， 2019， 23（4）： 1427-1436. 10.1109/jbhi.2018.2872813
3	SINAGA K P， YANG M S. Unsupervised k-means clustering algorithm［J］. IEEE Access， 2020， 8： 80716-80727. 10.1109/access.2020.2988796
4	HE Z， XIA K， LI T， et al. A constrained graph-based semi-supervised algorithm combined with particle cooperation and competition for hyperspectral image classification［J］. Remote Sensing， 2021， 13（2）： No.193. 10.3390/rs13020193
5	MCGUIRE B A， LOOMIS R A， BURKHARDT A M， et al. Detection of two interstellar polycyclic aromatic hydrocarbons via spectral matched filtering［J］. Science， 2021， 371（6535）： 1265-1269. 10.1126/science.abb7535
6	CONTEJEAN A， LEPORRIER J， CANOUÏE， et al. Comparing dynamics and determinants of severe acute respiratory syndrome coronavirus 2 transmissions among healthcare workers of adult and pediatric settings in central Paris［J］. Clinical Infectious Diseases， 2021， 72（2）： 257-264. 10.1093/cid/ciaa977
7	GRAHAM S， EPSTEIN D， RAJPOOT N. Dense steerable filter CNNs for exploiting rotational symmetry in histology images［J］. IEEE Transactions on Medical Imaging， 2020， 39（12）： 4124-4136. 10.1109/tmi.2020.3013246
8	JAINISH G R， JIJI G W， INFANT P A. A novel automatic retinal vessel extraction using maximum entropy based EM algorithm［J］. Multimedia Tools and Applications， 2020， 79（31/32）： 22337-22353. 10.1007/s11042-020-08958-8
9	SIDDIQUE N， PAHEDING S， ELKIN C P， et al. U-net and its variants for medical image segmentation： a review of theory and applications［J］. IEEE Access， 2021， 9： 82031-82057. 10.1109/access.2021.3086020
10	WANG S， LI L， ZHUANG X. AttU-NET： attention U-Net for brain tumor segmentation［C］// Proceedings of the 2021 International MICCAI Brainlesion Workshop， LNCS 12963. Cham： Springer， 2022： 302-311.
11	MOU L， ZHAO Y， CHEN L， et al. CS-Net： channel and spatial attention network for curvilinear structure segmentation［C］// Proceedings of the 2019 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11764. Cham： Springer， 2019： 721-730.
12	路皓翔，刘振丙，郭棚跃，等. 多尺度卷积结合自适应双区间均衡化的图像增强［J］. 光子学报， 2020， 49（10）：No.1010002. 10.3788/gzxb20204910.1010002
	LU H X， LIU Z B， GUO P Y， et al. Multi-scale convolution combined with adaptive bi-interval equalization for image enhancement［J］. Acta Photonica Sinica， 2020， 49（10）： No.1010002. 10.3788/gzxb20204910.1010002
13	吴正平，岑帅红. 基于自适应gamma校正估计的图像去雾算法［J］. 液晶与显示， 2022， 37（1）：106-115. 10.37188/CJLCD.2021-0182
	WU Z P， CEN S H. Image dehazing algorithm based on adaptive gamma correction estimation［J］. Chinese Journal of Liquid Crystals and Displays， 2022， 37（1）：106-115. 10.37188/CJLCD.2021-0182
14	AlGHAMDI M， ABDEL-MOTTALEB M， COLLADO-MESA F. DU-Net： convolutional network for the detection of arterial calcifications in mammograms［J］. IEEE Transactions on Medical Imaging， 2020， 39（10）： 3240-3249. 10.1109/tmi.2020.2989737
15	JIN Q， MENG Z， PHAM T D， et al. DUNet： a deformable network for retinal vessel segmentation［J］. Knowledge-Based Systems， 2019， 178： 149-162. 10.1016/j.knosys.2019.04.025
16	GU Z， CHENG J， FU H， et al. CE-Net： context encoder network for 2D medical image segmentation［J］. IEEE Transactions on Medical Imaging， 2019， 38（10）： 2281-2292. 10.1109/tmi.2019.2903562
17	LI L， VERMA M， NAKASHIMA Y， et al. IterNet： retinal image segmentation utilizing structural redundancy in vessel networks［C］// Proceedings of the 2020 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2020： 3645-3654. 10.1109/wacv45572.2020.9093621
18	GUO C， SZEMENYEI M， YI Y， et al. SA-UNet： spatial attention U-Net for retinal vessel segmentation［C］// Proceedings of the 25th International Conference on Pattern Recognition. Piscataway： IEEE， 2021： 1236-1242. 10.1109/icpr48806.2021.9413346
19	KAMRAN S A， HOSSAIN K F， TAVAKKOLI A， et al. RV-GAN： segmenting retinal vascular structure in fundus photographs using a novel multi-scale generative adversarial network［C］// Proceedings of the 2021 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 12908. Cham： Springer， 2021：34-44.
20	ALOM M Z， HASAN M， YAKOPCIC C， et al. Recurrent residual convolutional neural network based on U-Net （R2U-Net） for medical image segmentation［EB/OL］. （2018-05-29）［2022-07-13］.. 10.1109/naecon.2018.8556686
21	SHIN S Y， LEE S， YUN I D， et al. Deep vessel segmentation by learning graphical connectivity［J］. Medical Image Analysis， 2019， 58： No.101556. 10.1016/j.media.2019.101556

数据集	算法	Acc	Pre	Se	F₁	AUC
DRIVE	U-Net	0.932 3	0.924 2	0.793 1	0.853 6	0.943 6
	ResU-Net	0.934 1	0.934 8	0.832 3	0.880 5	0.954 3
	AttU-Net	0.953 1	0.983 9	0.829 9	0.900 3	0.968 9
	CS-Net	0.958 7	0.984 9	0.834 8	0.903 6	0.975 7
	MFEU-Net	0.960 1	0.987 6	0.838 7	0.907 1	0.979 1
CHASE_DB1	U-Net	0.934 5	0.960 4	0.802 1	0.874 1	0.923 6
	ResU-Net	0.942 1	0.964 5	0.820 4	0.886 6	0.938 5
	AttU-Net	0.951 9	0.969 9	0.817 8	0.887 3	0.947 8
	CS-Net	0.961 3	0.970 8	0.819 9	0.888 9	0.956 3
	MFEU-Net	0.970 2	0.989 9	0.832 6	0.904 4	0.971 3

数据集	算法	Acc	Pre	Se	F₁	AUC
DRIVE	U-Net	0.932 3	0.924 2	0.793 1	0.853 6	0.943 6
	ResU-Net	0.934 1	0.934 8	0.832 3	0.880 5	0.954 3
	AttU-Net	0.953 1	0.983 9	0.829 9	0.900 3	0.968 9
	CS-Net	0.958 7	0.984 9	0.834 8	0.903 6	0.975 7
	MFEU-Net	0.960 1	0.987 6	0.838 7	0.907 1	0.979 1
CHASE_DB1	U-Net	0.934 5	0.960 4	0.802 1	0.874 1	0.923 6
	ResU-Net	0.942 1	0.964 5	0.820 4	0.886 6	0.938 5
	AttU-Net	0.951 9	0.969 9	0.817 8	0.887 3	0.947 8
	CS-Net	0.961 3	0.970 8	0.819 9	0.888 9	0.956 3
	MFEU-Net	0.970 2	0.989 9	0.832 6	0.904 4	0.971 3

算法	Acc	Pre	Se	F₁	AUC
DUNet	0.954 7	0.973 2	0.839 3	0.901 3	0.947 8
CE-Net	0.952 3	0.984 3	0.826 8	0.898 7	0.955 6
IterNet	0.959 9	0.979 9	0.834 2	0.901 1	0.968 5
SA-UNet	0.958 3	0.978 1	0.796 2	0.877 8	0.964 3
RV-GAN	0.957 8	0.982 7	0.828 4	0.897 7	0.976 3
MFEU-Net	0.960 1	0.987 6	0.838 7	0.907 1	0.979 1

算法	Acc	Pre	Se	F₁	AUC
DUNet	0.954 7	0.973 2	0.839 3	0.901 3	0.947 8
CE-Net	0.952 3	0.984 3	0.826 8	0.898 7	0.955 6
IterNet	0.959 9	0.979 9	0.834 2	0.901 1	0.968 5
SA-UNet	0.958 3	0.978 1	0.796 2	0.877 8	0.964 3
RV-GAN	0.957 8	0.982 7	0.828 4	0.897 7	0.976 3
MFEU-Net	0.960 1	0.987 6	0.838 7	0.907 1	0.979 1

算法	Acc	Pre	Se	F₁	AUC
R2U-Net	0.952 1	0.987 2	0.799 5	0.883 4	0.962 5
VGN	0.968 1	0.987 8	0.799 3	0.883 6	0.961 3
DUNet	0.956 6	0.972 2	0.831 2	0.896 1	0.969 9
SA-UNet	0.967 2	0.991 2	0.824 9	0.900 4	0.967 9
RV-GAN	0.964 1	0.987 8	0.832 4	0.903 4	0.967 2
MFEU-Net	0.970 2	0.989 9	0.832 6	0.904 4	0.971 3

基于U-Net的多尺度特征增强视网膜血管分割算法

Multi-scale feature enhanced retinal vessel segmentation algorithm based on U-Net

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 21

相关文章 15

编辑推荐

Metrics

数据集	算法	模块			内存/MB	运行时间/ms
数据集	算法	FIE-RM	MDAC	MCE	内存/MB	运行时间/ms
DRIVE	M1				967	492
	M2	√			989	522
	M3	√	√		1 025	534
	M4	√	√	√	1 046	543
	CS-Net				1 034	537
	CE-Net				1 056	579
CHASE_DB1	M1				1 369	612
	M2	√			1 398	629
	M3	√	√		1 438	647
	M4	√	√	√	1 485	657
	CS-Net				1 478	653
	CE-Net				1 471	661

数据集	算法	Acc	Pre	Se	F₁	AUC
DRIVE	M1	0.922 3	0.924 2	0.793 1	0.853 6	0.950 6
	M2	0.934 8	0.945 7	0.804 1	0.869 1	0.953 7
	M3	0.950 1	0.970 2	0.830 3	0.894 8	0.970 6
	M4	0.960 1	0.987 6	0.838 7	0.907 1	0.979 1
CHASE_DB1	M1	0.934 5	0.950 4	0.807 1	0.872 9	0.943 6
	M2	0.940 8	0.966 5	0.815 4	0.884 5	0.949 7
	M3	0.955 7	0.974 9	0.821 4	0.891 5	0.957 8
	M4	0.970 2	0.989 9	0.832 6	0.904 4	0.971 3

[1]	周迪, 张自力, 陈佳, 胡新荣, 何儒汉, 张俊. 基于EfficientNetV2和物体上下文表示的胃癌图像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2955-2962.
[2]	黄学雨, 贺怀宇, 林慧敏, 陈金水. 基于特征聚合的铜合金金相图分类识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2593-2601.
[3]	张慧斌, 冯丽萍, 郝耀军, 王一宁. 基于注意力机制和迁移学习的古壁画朝代识别[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1826-1832.
[4]	申利华, 李波. 基于特征金字塔网络和密集网络的肺部CT图像超分辨率重建[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1612-1619.
[5]	杨有, 张汝荟, 许鹏程, 康慷, 翟浩. 面向民国档案印章分割的改进U-Net[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 943-948.
[6]	朱利安, 张鸿. 基于双分支条件生成对抗网络的非均匀图像去雾[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 567-574.
[7]	林荐壮, 杨文忠, 谭思翔, 周乐鑫, 陈丹妮. 融合滤波增强和反转注意力网络用于息肉分割[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 265-272.
[8]	廖列法, 李志明, 张赛赛. 基于深度残差网络的迭代量化哈希图像检索方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2845-2852.
[9]	靳华中, 张修洋, 叶志伟, 张闻其, 夏小鱼. 基于近似U型网络结构的图像去噪模型[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2571-2577.
[10]	贺怀清, 闫建青, 惠康华. 基于深度残差网络的轻量级人脸识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2030-2036.
[11]	张杨, 郝江波. 基于注意力机制和残差网络的恶意代码检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1708-1715.
[12]	董明宇, 严迪群. 基于ResNet的音频场景声替换造假的检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1724-1728.
[13]	王汇丰, 徐岩, 魏一铭, 王会真. 基于并联卷积与残差网络的图像超分辨率重建[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1570-1576.
[14]	徐光柱, 林文杰, 陈莎, 匡婉, 雷帮军, 周军. U-Net与自适应阈值脉冲耦合神经网络相结合的眼底血管分割方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 825-832.
[15]	孙鹏翔, 毕利, 王俊杰. 基于改进深度残差网络的光伏板积灰程度识别[J]. 《计算机应用》唯一官方网站, 2022, 42(12): 3733-3739.