用于肺部病灶图像分割的多尺度稠密融合网络

doi:10.11772/j.issn.1001-9081.2022101545

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (10): 3282-3289.DOI: 10.11772/j.issn.1001-9081.2022101545

• 多媒体计算与计算机仿真 • 上一篇

用于肺部病灶图像分割的多尺度稠密融合网络

卢小燕¹, 徐杨¹^,²(), 袁文昊¹

^1.贵州大学大数据与信息工程学院，贵阳 550025
^2.贵阳铝镁设计研究院有限公司，贵阳 550009

收稿日期:2022-10-14 修回日期:2023-02-06 接受日期:2023-02-08 发布日期:2023-04-12 出版日期:2023-10-10
通讯作者: 徐杨
作者简介:卢小燕（1997—），女，河南南阳人，硕士研究生，主要研究方向：深度学习、图像处理
袁文昊（1998—），男，四川成都人，硕士研究生，主要研究方向：深度学习、图像处理。
基金资助:
贵州省科技计划项目（黔科合支撑［2021］一般176）

Multiscale dense fusion network for lung lesion image segmentation

Xiaoyan LU¹, Yang XU¹^,²(), Wenhao YUAN¹

^1.College of Big Data and Information Engineering，Guizhou University，Guiyang Guizhou 550025，China
^2.Guiyang Aluminum?Magnesium Design and Research Institute Company Limited，Guiyang Guizhou 550009，China

Received:2022-10-14 Revised:2023-02-06 Accepted:2023-02-08 Online:2023-04-12 Published:2023-10-10
Contact: Yang XU
About author:LU Xiaoyan， born in 1997， M. S. candidate. Her research interests include deep learning， image processing.
YUAN Wenhao， born in 1998， M. S. candidate. His research interests include deep learning， image processing.
Supported by:
Guizhou Science and Technology Program （Guizhou Science and Technology Cooperation Support ［2021］ General 176）

摘要/Abstract

摘要：

针对主流的深度学习网络难以完整分割肺部病灶、区域边界预测模糊的问题，提出一种基于U-Net的多尺度稠密融合网络（MDF-Net）。首先，引入多分支密集跳层连接以捕获多级上下文信息，并在网络末端引入信息加权融合（IWF）模块进行逐级融合，以解决网络中的特征损失问题；其次，设计一种自注意力金字塔模块，使用各金字塔层对特征图进行不同规模的切分处理，并使用自注意力机制计算像素关联度，从而增强局部与全局区域的感染特征显著性；最后，设计一种区别于传统U-Net的上采样模式的上采样残差（UR）模块，多分支的残差结构与通道特征激励使网络能够还原更加丰富的微小病灶特征。在两个公开数据集上的实验结果显示，与UNeXt相比，所提网络的准确度（ACC）分别提升了1.5%和1.4%，平均交并比（MIoU）分别提升了3.9%和1.9%，实验结果验证了MDF-Net具有更好的肺部病灶分割性能。

关键词: 肺部疾病, 密集跳层连接, 自注意力金字塔, 上采样残差, 信息加权融合

Abstract:

Aiming at the problems of incomplete segmentation of lung lesions and fuzzy prediction of regional boundaries in mainstream deep learning networks， a Multiscale Dense Fusion Network （MDF-Net） based on U-Net was proposed. Firstly， multi-branch dense skip connections were introduced to capture multi-level contextual information， and Information Weighted Fusion （IWF） module was introduced at the end of the network for level-by-level fusion to solve the feature loss problem in the network. Secondly， a self-attention pyramid module was designed. Each pyramid layer was used to segment the feature map in different scales， and the self-attention mechanism was applied to calculate the pixel correlation， thereby enhancing the saliency of the infection features in local and global regions. Finally， unlike the up-sampling form in traditional U-Net， a Up-sampling Residual （UR） module was designed. The multi-branch residual structure and channel feature excitation were used to help the network restore more abundant features of micro lesions. Experimental results on two public datasets show that compared with UNeXt， the proposed network improves the ACCuracy （ACC） by 1.5% and 1.4% respectively， and the Mean Intersection over Union （MIoU） by 3.9% and 1.9% respectively， which verify that MDF-Net has better lung lesion segmentation performance.

Key words: lung disease, dense skip connection, self-attention pyramid, Up-sampling Residual (UR), Information Weighed Fusion (IWF)

中图分类号:

TP183

卢小燕, 徐杨, 袁文昊. 用于肺部病灶图像分割的多尺度稠密融合网络[J]. 计算机应用, 2023, 43(10): 3282-3289.

Xiaoyan LU, Yang XU, Wenhao YUAN. Multiscale dense fusion network for lung lesion image segmentation[J]. Journal of Computer Applications, 2023, 43(10): 3282-3289.

图/表 16

图1 MDF-Net结构

Fig. 1 MDF-Net structure

图2 多分支密集跳层连接

Fig. 2 Multi-branch dense skip connection

图3 自注意力金字塔模块

Fig. 3 Self-attention pyramid module

图4 SE模块

Fig. 4 SE module

图5 上采样残差模块

Fig. 5 Up-sampling residual module

图6 信息加权融合模块

Fig. 6 Information weighted fusion module

表1 不同网络在Lung dataset-1和Lung dataset-2上的性能对比 (%)

Tab. 1 Performance comparison of different networks on Lung dataset-1 and Lung dataset-2

数据集	网络	ACC	MIoU	DSC	F₁
Lung dataset-1	SegNet	73.7	69.8	61.3	53.6
	R2U-Net	77.1	71.0	62.5	57.8
	Attention U-Net	79.9	73.3	64.1	60.5
	U²-Net	81.2	75.9	67.6	63.9
	CaraNet	81.7	76.5	68.3	65.2
	UNeXt	82.4	79.2	70.5	68.6
	MDF-Net	83.6	82.3	73.4	70.3
Lung dataset-2	SegNet	85.6	75.9	66.2	57.1
	R2U-Net	87.3	82.6	72.3	68.3
	Attention U-Net	88.9	83.5	74.7	70.5
	U²-Net	89.4	84.3	75.1	72.4
	CaraNet	89.6	86.4	76.5	72.9
	UNeXt	91.8	89.5	78.8	73.7
	MDF-Net	93.1	91.2	79.9	75.2

图7 不同网络在Lung dataset-1上的可视化效果

Fig. 7 Visualization effects of different networks on Lung dataset-1

图8 不同网络在Lung dataset-2上的可视化效果

Fig. 8 Visualization effects of different networks on Lung dataset-2

图9 不同网络在两个数据集上的损失曲线和准确度曲线

Fig. 9 Loss curves and ACC curves of different networks on two datasets

表2 不同模块在Lung dataset-1和Lung dataset-2上对网络性能的影响 (%)

Tab. 2 Influence of different modules on network performance on Lung dataset-1 and Lung dataset-2

数据集	模块					ACC	MIoU	DSC	F₁
数据集	基础网络	UR	M1	M2	IWF	ACC	MIoU	DSC	F₁
Lung dataset-1	√					74.7	74.1	67.2	67.4
	√	√				75.6	75.2	68.9	68.2
	√		√			77.2	76.1	70.5	68.4
	√	√	√	√		79.9	78.2	71.3	69.5
	√	√	√	√	√	83.6	82.3	73.4	70.3
Lung dataset-1	√					84.9	82.3	72.5	72.8
	√	√				85.6	83.5	74.4	73.5
	√		√			86.1	84.9	76.7	73.6
	√	√	√	√		89.7	87.3	78.2	74.1
	√	√	√	√	√	93.1	91.2	79.9	75.2

表3 不同上采样方式在Lung dataset-1和Lung dataset-2上的性能对比 (%)

Tab. 3 Performance comparison of different upsampling methods on Lung dataset-1 and Lung dataset-2

数据集	采样方式	ACC	MIoU	DSC	F₁
Lung dataset-1	upsampling	74.7	74.1	67.2	67.4
Lung dataset-1	UR	75.6	75.2	68.9	68.2
Lung dataset-2	upsampling	84.9	82.3	72.5	72.8
Lung dataset-2	UR	85.6	83.5	74.4	73.5

表4 UR模块不同组成部分在Lung dataset-1和Lung dataset-2上的性能对比 (%)

Tab. 4 Performance comparison of different components of UR module on Lung dataset-1 and Lung dataset-2

数据集	UR模块组成	ACC	MIoU	DSC	F₁
Lung dataset-1	无	74.7	74.1	67.2	67.4
	M3	75.2	74.8	68.4	67.9
	M4	74.9	74.5	67.7	67.6
	UR	75.6	75.2	68.9	68.2
Lung dataset-2	无	84.9	82.3	72.5	72.8
	M3	85.3	83.1	73.8	73.3
	M4	85.1	82.6	73.2	73.0
	UR	85.6	83.5	74.4	73.5

表5 不同注意力模块在Lung dataset-1和Lung dataset-2上的性能对比 (%)

Tab. 5 Performance comparison of different attention modules on Lung dataset-1 and Lung dataset-2

数据集	注意力模块	ACC	MIoU	DSC	F₁
Lung dataset-1	无	74.7	74.1	67.2	67.4
	SCSE	74.9	74.3	67.6	67.7
	ECA	74.6	73.5	66.3	59.8
	自注意力金字塔模块	77.2	76.1	70.5	68.4
Lung dataset-2	无	84.9	82.3	72.5	72.8
	SCSE	85.2	84.1	75.9	72.4
	ECA	84.5	81.6	71.2	62.9
	自注意力金字塔模块	86.1	84.9	76.7	73.6

表6 IWF模块与其他特征融合模块在Lung dataset-1和Lung dataset-2上的性能对比 (%)

Tab. 6 Performance comparison of IWF module and other feature fusion modules on Lung dataset-1 and Lung dataset-2

数据集	特征融合模块	ACC	MIoU	DSC	F₁
Lung dataset-1	无	79.9	78.2	71.3	69.5
	FFM	80.3	78.8	71.6	69.8
	MAFF	81.2	80.1	72.5	70.2
	IWF	83.6	82.3	73.4	70.3
Lung dataset-2	无	89.7	87.3	78.2	74.1
	FFM	90.6	88.5	78.6	74.3
	MAFF	92.5	89.7	79.2	74.8
	IWF	93.1	91.2	79.9	75.2

表7 两种网络的密集连接方式在Lung dataset-1和Lung dataset-2上的性能对比 (%)

Tab. 7 Performance comparison of dense connection methods of two networks on Lung dataset-1 and Lung dataset-2

数据集	网络	ACC	MIoU	DSC	F₁
Lung dataset-1	UNet++	80.9	79.4	70.1	66.3
Lung dataset-1	MDF-Net	83.6	82.3	73.4	70.3
Lung dataset-2	UNet++	89.1	88.7	76.9	71.4
Lung dataset-2	MDF-Net	93.1	91.2	79.9	75.2

参考文献 22

1	陈树越，晁亚，邹凌. 基于几何特征的孤立性肺结节检测［J］. 生物医学工程学杂志， 2016， 33（4）：680-685.
	CHEN S Y， CHAO Y， ZOU L. Detection of solitary pulmonary nodules based on geometric features［J］. Journal of Biomedical Engineering， 2016， 33（4）： 680-685.
2	LITJENS G， KOOI T， EHTESHAMI BEJNORDI B， et al. A survey on deep learning in medical image analysis［J］. Medical Image Analysis， 2017， 42： 60-88. 10.1016/j.media.2017.07.005
3	MUNUSAMY H， KARTHIKEYAN J M， SHRIRAM G， et al. FractalCovNet architecture for COVID-19 Chest X-ray image Classification and CT-scan image Segmentation［J］. Biocybernetics and Biomedical Engineering， 2021， 41（3）： 1025-1038. 10.1016/j.bbe.2021.06.011
4	RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
5	ZHAN X， ZHANG P， SONG F， et al. D2A U-Net： automatic segmentation of COVID-19 CT slices based on dual attention and hybrid dilated convolution［J］. Computers in Biology and Medicine， 2021， 135： No.104526. 10.1016/j.compbiomed.2021.104526
6	WANG B， JIN S， YAN Q， et al. AI-assisted CT imaging analysis for COVID-19 screening： building and deploying a medical AI system［J］. Applied Soft Computing， 2021， 98： No.106897. 10.1016/j.asoc.2020.106897
7	FAN D P， ZHOU T， JI G P， et al. Inf-Net： automatic COVID-19 lung infection segmentation from CT images［J］. IEEE Transactions on Medical Imaging， 2020， 39（8）： 2626-2637. 10.1109/tmi.2020.2996645
8	KUMAR SINGH V， ABDEL-NASSER M， PANDEY N， et al. LungINFseg： segmenting COVID-19 infected regions in lung CT images based on a receptive-field-aware deep learning framework［J］. Diagnostics， 2021， 11（2）： No.158. 10.3390/diagnostics11020158
9	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
10	FU J， LIU J， TIAN H， et al. Dual attention network for scene segmentation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3141-3149. 10.1109/cvpr.2019.00326
11	MILLETARI F， NAVAB N， AHMADI S A. V-Net： fully convolutional neural networks for volumetric medical image segmentation［C］// Proceedings of the 4th International Conference on 3D Vision. Piscataway： IEEE， 2016： 565-571. 10.1109/3dv.2016.79
12	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495. 10.1109/tpami.2016.2644615
13	ALOM M Z， YAKOPCIC C， HASAN M， et al. Recurrent residual U-Net for medical image segmentation［J］. Journal of Medical Imaging， 2019， 6（1）： No.014006. 10.1117/1.jmi.6.1.014006
14	OKTAY O， SCHLEMPER J， LE FOLGOC L， et al. Attention U-Net： learning where to look for the pancreas［EB/OL］. （2018-03-20）［2022-08-15］..
15	QIN X， ZHANG Z， HUANG C， et al. U²-Net： going deeper with nested U-structure for salient object detection［J］. Pattern Recognition， 2020， 106： No.107404. 10.1016/j.patcog.2020.107404
16	LOU A， GUAN S， KO H， et al. CaraNet： context axial reverse attention network for segmentation of small medical objects［C］// Proceedings of the SPIE 12032， Medical Imaging 2022： Image Processing. Bellingham， WA： SPIE， 2022： No.120320D. 10.1117/12.2611802
17	VALANARASU J M J， PATEL V M. UNeXt： MLP-based rapid medical image segmentation network［C］// Proceedings of the 2022 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 13435. Cham： Springer， 2022： 23-33.
18	ROY A G， NAVAB N， WACINGER C. Concurrent spatial and channel ‘squeeze & excitation’ in fully convolutional networks［C］// Proceedings of the 2018 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11070. Cham： Springer， 2018： 421-429.
19	WANG Q， WU B， ZHU P， et al. ECA-Net： efficient channel attention for deep convolutional neural networks［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：11531-11539. 10.1109/cvpr42600.2020.01155
20	傅双杰，陈玮，尹钟. 结合自注意力和特征自适应融合的语义分割算法［J］. 信息与控制， 2022， 51（6）：680-687， 698.
	FU S J， CHEN W， YIN Z. Semantic segmentation algorithm combining self-attention and feature adaptive fusion［J］. Information and Control， 2022， 51（6）：680-687， 698.
21	梁礼明，詹涛，雷坤，等. 多级自适应尺度的U型视网膜血管分割算法［J］. 电子测量技术， 2022， 45（13）：130-140.
	LIANG L M， ZHAN T， LEI K， et al. Multi-level adaptive scale U-shaped retinal blood vessel segmentation algorithm［J］. Electronic Measurement Technology， 2022， 45（13）：130-140.
22	ZHOU Z， RAHMAN SIDDIQUEE M M， TAJBAKHSH N， et al. UNet++： a nested U-Net architecture for medical image segmentation［C］// Proceedings of the 2018 International Workshop on Deep Learning in Medical Image Analysis/ International Workshop on Multimodal Learning for Clinical Decision Support， LNCS 11045. Cham： Springer， 2018： 3-11. 10.1007/978-3-030-00889-5_1

[1]	刘子涵周登文刘玉铠. 基于全局依赖 Transformer 的图像超分辨率网络[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[2]	徐丽, 符祥远, 李浩然. 基于门控卷积的时空交通流预测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2760-2765.
[3]	申云飞, 申飞, 李芳, 张俊. 基于张量虚拟机的深度神经网络模型加速方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2836-2844.
[4]	欧云, 周恺卿, 尹鹏飞, 刘雪薇. 双收敛因子策略下的改进灰狼优化算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2679-2685.
[5]	赵旭剑, 李杭霖. 基于混合机制的深度神经网络压缩算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2686-2691.
[6]	余杭周艳玲翟梦鑫刘涵. 基于预训练模型与标签融合的文本分类[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[7]	徐泽鑫杨磊李康顺. 较短的长序列时间序列预测模型[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[8]	陈侃松, 郑园, 许立君, 王周宇, 张哲, 姚福娟. 基于ThetaMEX全局池化的人脸识别神经网络——ShuffaceNet[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2572-2580.
[9]	韩春港, 刘永辉. 基于GhostNet和特征融合的人脸活体检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2588-2592.
[10]	朱子蒙李志新郇战陈瑛梁久祯. 基于三元中心引导的弱监督视频异常检测[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[11]	侯瑞峰张鹏程张丽媛桂志国刘祎张浩文王书斌. 基于全变分正则项展开的迭代去噪网络[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[12]	彭育辉郑玮鸿张剑锋. 基于深度学习的道路障碍物检测方法研究[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[13]	廉飞宇张良王杰栋靳于康柴玉. 基于图模型与注意力机制的室外场景点云分割模型[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[14]	魏远, 林彦, 郭晟楠, 林友芳, 万怀宇. 融合出发地与目的地时空相关性的城市区域间出租车需求预测[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2100-2106.
[15]	林剑, 叶璟轩, 刘雯雯, 邵晓雯. 求解带容量约束车辆路径问题的多模态差分进化算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2248-2254.

用于肺部病灶图像分割的多尺度稠密融合网络

Multiscale dense fusion network for lung lesion image segmentation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 22

相关文章 15

编辑推荐

Metrics