用于肺部病灶图像分割的多尺度稠密融合网络

doi:10.11772/j.issn.1001-9081.2022101545

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (10): 3282-3289.DOI: 10.11772/j.issn.1001-9081.2022101545

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

用于肺部病灶图像分割的多尺度稠密融合网络

卢小燕¹, 徐杨¹^,²(), 袁文昊¹

^1.贵州大学大数据与信息工程学院，贵阳 550025
^2.贵阳铝镁设计研究院有限公司，贵阳 550009

收稿日期:2022-10-14 修回日期:2023-02-06 接受日期:2023-02-08 发布日期:2023-04-12 出版日期:2023-10-10
通讯作者: 徐杨
作者简介:卢小燕（1997—），女，河南南阳人，硕士研究生，主要研究方向：深度学习、图像处理
袁文昊（1998—），男，四川成都人，硕士研究生，主要研究方向：深度学习、图像处理。
基金资助:
贵州省科技计划项目（黔科合支撑［2021］一般176）

Multiscale dense fusion network for lung lesion image segmentation

Xiaoyan LU¹, Yang XU¹^,²(), Wenhao YUAN¹

^1.College of Big Data and Information Engineering，Guizhou University，Guiyang Guizhou 550025，China
^2.Guiyang Aluminum?Magnesium Design and Research Institute Company Limited，Guiyang Guizhou 550009，China

Received:2022-10-14 Revised:2023-02-06 Accepted:2023-02-08 Online:2023-04-12 Published:2023-10-10
Contact: Yang XU
About author:LU Xiaoyan， born in 1997， M. S. candidate. Her research interests include deep learning， image processing.
YUAN Wenhao， born in 1998， M. S. candidate. His research interests include deep learning， image processing.
Supported by:
Guizhou Science and Technology Program （Guizhou Science and Technology Cooperation Support ［2021］ General 176）

摘要/Abstract

摘要：

针对主流的深度学习网络难以完整分割肺部病灶、区域边界预测模糊的问题，提出一种基于U-Net的多尺度稠密融合网络（MDF-Net）。首先，引入多分支密集跳层连接以捕获多级上下文信息，并在网络末端引入信息加权融合（IWF）模块进行逐级融合，以解决网络中的特征损失问题；其次，设计一种自注意力金字塔模块，使用各金字塔层对特征图进行不同规模的切分处理，并使用自注意力机制计算像素关联度，从而增强局部与全局区域的感染特征显著性；最后，设计一种区别于传统U-Net的上采样模式的上采样残差（UR）模块，多分支的残差结构与通道特征激励使网络能够还原更加丰富的微小病灶特征。在两个公开数据集上的实验结果显示，与UNeXt相比，所提网络的准确度（ACC）分别提升了1.5%和1.4%，平均交并比（MIoU）分别提升了3.9%和1.9%，实验结果验证了MDF-Net具有更好的肺部病灶分割性能。

关键词: 肺部疾病, 密集跳层连接, 自注意力金字塔, 上采样残差, 信息加权融合

Abstract:

Aiming at the problems of incomplete segmentation of lung lesions and fuzzy prediction of regional boundaries in mainstream deep learning networks， a Multiscale Dense Fusion Network （MDF-Net） based on U-Net was proposed. Firstly， multi-branch dense skip connections were introduced to capture multi-level contextual information， and Information Weighted Fusion （IWF） module was introduced at the end of the network for level-by-level fusion to solve the feature loss problem in the network. Secondly， a self-attention pyramid module was designed. Each pyramid layer was used to segment the feature map in different scales， and the self-attention mechanism was applied to calculate the pixel correlation， thereby enhancing the saliency of the infection features in local and global regions. Finally， unlike the up-sampling form in traditional U-Net， a Up-sampling Residual （UR） module was designed. The multi-branch residual structure and channel feature excitation were used to help the network restore more abundant features of micro lesions. Experimental results on two public datasets show that compared with UNeXt， the proposed network improves the ACCuracy （ACC） by 1.5% and 1.4% respectively， and the Mean Intersection over Union （MIoU） by 3.9% and 1.9% respectively， which verify that MDF-Net has better lung lesion segmentation performance.

Key words: lung disease, dense skip connection, self-attention pyramid, Up-sampling Residual (UR), Information Weighed Fusion (IWF)

中图分类号:

TP183

卢小燕, 徐杨, 袁文昊. 用于肺部病灶图像分割的多尺度稠密融合网络[J]. 计算机应用, 2023, 43(10): 3282-3289.

Xiaoyan LU, Yang XU, Wenhao YUAN. Multiscale dense fusion network for lung lesion image segmentation[J]. Journal of Computer Applications, 2023, 43(10): 3282-3289.

图/表 16

图1 MDF-Net结构

Fig. 1 MDF-Net structure

图2 多分支密集跳层连接

Fig. 2 Multi-branch dense skip connection

图3 自注意力金字塔模块

Fig. 3 Self-attention pyramid module

图4 SE模块

Fig. 4 SE module

图5 上采样残差模块

Fig. 5 Up-sampling residual module

图6 信息加权融合模块

Fig. 6 Information weighted fusion module

表1 不同网络在Lung dataset-1和Lung dataset-2上的性能对比 (%)

Tab. 1 Performance comparison of different networks on Lung dataset-1 and Lung dataset-2

数据集	网络	ACC	MIoU	DSC	F₁
Lung dataset-1	SegNet	73.7	69.8	61.3	53.6
	R2U-Net	77.1	71.0	62.5	57.8
	Attention U-Net	79.9	73.3	64.1	60.5
	U²-Net	81.2	75.9	67.6	63.9
	CaraNet	81.7	76.5	68.3	65.2
	UNeXt	82.4	79.2	70.5	68.6
	MDF-Net	83.6	82.3	73.4	70.3
Lung dataset-2	SegNet	85.6	75.9	66.2	57.1
	R2U-Net	87.3	82.6	72.3	68.3
	Attention U-Net	88.9	83.5	74.7	70.5
	U²-Net	89.4	84.3	75.1	72.4
	CaraNet	89.6	86.4	76.5	72.9
	UNeXt	91.8	89.5	78.8	73.7
	MDF-Net	93.1	91.2	79.9	75.2

图7 不同网络在Lung dataset-1上的可视化效果

Fig. 7 Visualization effects of different networks on Lung dataset-1

图8 不同网络在Lung dataset-2上的可视化效果

Fig. 8 Visualization effects of different networks on Lung dataset-2

图9 不同网络在两个数据集上的损失曲线和准确度曲线

Fig. 9 Loss curves and ACC curves of different networks on two datasets

表2 不同模块在Lung dataset-1和Lung dataset-2上对网络性能的影响 (%)

Tab. 2 Influence of different modules on network performance on Lung dataset-1 and Lung dataset-2

数据集	模块					ACC	MIoU	DSC	F₁
数据集	基础网络	UR	M1	M2	IWF	ACC	MIoU	DSC	F₁
Lung dataset-1	√					74.7	74.1	67.2	67.4
	√	√				75.6	75.2	68.9	68.2
	√		√			77.2	76.1	70.5	68.4
	√	√	√	√		79.9	78.2	71.3	69.5
	√	√	√	√	√	83.6	82.3	73.4	70.3
Lung dataset-1	√					84.9	82.3	72.5	72.8
	√	√				85.6	83.5	74.4	73.5
	√		√			86.1	84.9	76.7	73.6
	√	√	√	√		89.7	87.3	78.2	74.1
	√	√	√	√	√	93.1	91.2	79.9	75.2

表3 不同上采样方式在Lung dataset-1和Lung dataset-2上的性能对比 (%)

Tab. 3 Performance comparison of different upsampling methods on Lung dataset-1 and Lung dataset-2

数据集	采样方式	ACC	MIoU	DSC	F₁
Lung dataset-1	upsampling	74.7	74.1	67.2	67.4
Lung dataset-1	UR	75.6	75.2	68.9	68.2
Lung dataset-2	upsampling	84.9	82.3	72.5	72.8
Lung dataset-2	UR	85.6	83.5	74.4	73.5

表4 UR模块不同组成部分在Lung dataset-1和Lung dataset-2上的性能对比 (%)

Tab. 4 Performance comparison of different components of UR module on Lung dataset-1 and Lung dataset-2

数据集	UR模块组成	ACC	MIoU	DSC	F₁
Lung dataset-1	无	74.7	74.1	67.2	67.4
	M3	75.2	74.8	68.4	67.9
	M4	74.9	74.5	67.7	67.6
	UR	75.6	75.2	68.9	68.2
Lung dataset-2	无	84.9	82.3	72.5	72.8
	M3	85.3	83.1	73.8	73.3
	M4	85.1	82.6	73.2	73.0
	UR	85.6	83.5	74.4	73.5

表5 不同注意力模块在Lung dataset-1和Lung dataset-2上的性能对比 (%)

Tab. 5 Performance comparison of different attention modules on Lung dataset-1 and Lung dataset-2

数据集	注意力模块	ACC	MIoU	DSC	F₁
Lung dataset-1	无	74.7	74.1	67.2	67.4
	SCSE	74.9	74.3	67.6	67.7
	ECA	74.6	73.5	66.3	59.8
	自注意力金字塔模块	77.2	76.1	70.5	68.4
Lung dataset-2	无	84.9	82.3	72.5	72.8
	SCSE	85.2	84.1	75.9	72.4
	ECA	84.5	81.6	71.2	62.9
	自注意力金字塔模块	86.1	84.9	76.7	73.6

表6 IWF模块与其他特征融合模块在Lung dataset-1和Lung dataset-2上的性能对比 (%)

Tab. 6 Performance comparison of IWF module and other feature fusion modules on Lung dataset-1 and Lung dataset-2

数据集	特征融合模块	ACC	MIoU	DSC	F₁
Lung dataset-1	无	79.9	78.2	71.3	69.5
	FFM	80.3	78.8	71.6	69.8
	MAFF	81.2	80.1	72.5	70.2
	IWF	83.6	82.3	73.4	70.3
Lung dataset-2	无	89.7	87.3	78.2	74.1
	FFM	90.6	88.5	78.6	74.3
	MAFF	92.5	89.7	79.2	74.8
	IWF	93.1	91.2	79.9	75.2

表7 两种网络的密集连接方式在Lung dataset-1和Lung dataset-2上的性能对比 (%)

Tab. 7 Performance comparison of dense connection methods of two networks on Lung dataset-1 and Lung dataset-2

数据集	网络	ACC	MIoU	DSC	F₁
Lung dataset-1	UNet++	80.9	79.4	70.1	66.3
Lung dataset-1	MDF-Net	83.6	82.3	73.4	70.3
Lung dataset-2	UNet++	89.1	88.7	76.9	71.4
Lung dataset-2	MDF-Net	93.1	91.2	79.9	75.2

参考文献 22

1	陈树越，晁亚，邹凌. 基于几何特征的孤立性肺结节检测［J］. 生物医学工程学杂志， 2016， 33（4）：680-685.
	CHEN S Y， CHAO Y， ZOU L. Detection of solitary pulmonary nodules based on geometric features［J］. Journal of Biomedical Engineering， 2016， 33（4）： 680-685.
2	LITJENS G， KOOI T， EHTESHAMI BEJNORDI B， et al. A survey on deep learning in medical image analysis［J］. Medical Image Analysis， 2017， 42： 60-88. 10.1016/j.media.2017.07.005
3	MUNUSAMY H， KARTHIKEYAN J M， SHRIRAM G， et al. FractalCovNet architecture for COVID-19 Chest X-ray image Classification and CT-scan image Segmentation［J］. Biocybernetics and Biomedical Engineering， 2021， 41（3）： 1025-1038. 10.1016/j.bbe.2021.06.011
4	RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
5	ZHAN X， ZHANG P， SONG F， et al. D2A U-Net： automatic segmentation of COVID-19 CT slices based on dual attention and hybrid dilated convolution［J］. Computers in Biology and Medicine， 2021， 135： No.104526. 10.1016/j.compbiomed.2021.104526
6	WANG B， JIN S， YAN Q， et al. AI-assisted CT imaging analysis for COVID-19 screening： building and deploying a medical AI system［J］. Applied Soft Computing， 2021， 98： No.106897. 10.1016/j.asoc.2020.106897
7	FAN D P， ZHOU T， JI G P， et al. Inf-Net： automatic COVID-19 lung infection segmentation from CT images［J］. IEEE Transactions on Medical Imaging， 2020， 39（8）： 2626-2637. 10.1109/tmi.2020.2996645
8	KUMAR SINGH V， ABDEL-NASSER M， PANDEY N， et al. LungINFseg： segmenting COVID-19 infected regions in lung CT images based on a receptive-field-aware deep learning framework［J］. Diagnostics， 2021， 11（2）： No.158. 10.3390/diagnostics11020158
9	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
10	FU J， LIU J， TIAN H， et al. Dual attention network for scene segmentation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3141-3149. 10.1109/cvpr.2019.00326
11	MILLETARI F， NAVAB N， AHMADI S A. V-Net： fully convolutional neural networks for volumetric medical image segmentation［C］// Proceedings of the 4th International Conference on 3D Vision. Piscataway： IEEE， 2016： 565-571. 10.1109/3dv.2016.79
12	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495. 10.1109/tpami.2016.2644615
13	ALOM M Z， YAKOPCIC C， HASAN M， et al. Recurrent residual U-Net for medical image segmentation［J］. Journal of Medical Imaging， 2019， 6（1）： No.014006. 10.1117/1.jmi.6.1.014006
14	OKTAY O， SCHLEMPER J， LE FOLGOC L， et al. Attention U-Net： learning where to look for the pancreas［EB/OL］. （2018-03-20）［2022-08-15］..
15	QIN X， ZHANG Z， HUANG C， et al. U²-Net： going deeper with nested U-structure for salient object detection［J］. Pattern Recognition， 2020， 106： No.107404. 10.1016/j.patcog.2020.107404
16	LOU A， GUAN S， KO H， et al. CaraNet： context axial reverse attention network for segmentation of small medical objects［C］// Proceedings of the SPIE 12032， Medical Imaging 2022： Image Processing. Bellingham， WA： SPIE， 2022： No.120320D. 10.1117/12.2611802
17	VALANARASU J M J， PATEL V M. UNeXt： MLP-based rapid medical image segmentation network［C］// Proceedings of the 2022 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 13435. Cham： Springer， 2022： 23-33.
18	ROY A G， NAVAB N， WACINGER C. Concurrent spatial and channel ‘squeeze & excitation’ in fully convolutional networks［C］// Proceedings of the 2018 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11070. Cham： Springer， 2018： 421-429.
19	WANG Q， WU B， ZHU P， et al. ECA-Net： efficient channel attention for deep convolutional neural networks［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：11531-11539. 10.1109/cvpr42600.2020.01155
20	傅双杰，陈玮，尹钟. 结合自注意力和特征自适应融合的语义分割算法［J］. 信息与控制， 2022， 51（6）：680-687， 698.
	FU S J， CHEN W， YIN Z. Semantic segmentation algorithm combining self-attention and feature adaptive fusion［J］. Information and Control， 2022， 51（6）：680-687， 698.
21	梁礼明，詹涛，雷坤，等. 多级自适应尺度的U型视网膜血管分割算法［J］. 电子测量技术， 2022， 45（13）：130-140.
	LIANG L M， ZHAN T， LEI K， et al. Multi-level adaptive scale U-shaped retinal blood vessel segmentation algorithm［J］. Electronic Measurement Technology， 2022， 45（13）：130-140.
22	ZHOU Z， RAHMAN SIDDIQUEE M M， TAJBAKHSH N， et al. UNet++： a nested U-Net architecture for medical image segmentation［C］// Proceedings of the 2018 International Workshop on Deep Learning in Medical Image Analysis/ International Workshop on Multimodal Learning for Clinical Decision Support， LNCS 11045. Cham： Springer， 2018： 3-11. 10.1007/978-3-030-00889-5_1

[1]	沈嫣然, 温昕, 张瑾昊, 张帅, 曹锐, 高保禄. 轻量级多尺度卷积网络的功能磁共振成像脑龄预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3949-3957.
[2]	蒋权黄文清苟志勇. 基于等变图神经网络的拉格朗日粒子流模拟[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[3]	李岚皓严皓钧周号益孙庆赟李建欣. 基于神经网络的多尺度信息融合时间序列长期预测模型[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[4]	陈丹阳张长伦. 多尺度去相关的图卷积网络[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[5]	蒋沛宇王永光任亚亭李硕晨谭火彬. 基于测量不确定度表示指南的目标检测不确定度测量方案[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[6]	胡能兵, 蔡彪, 李旭, 曹旦华. 基于图池化对比学习的图分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3327-3334.
[7]	林滏, 石稼晟, 高泽, 楚遵康, 马琼敏, 余海燕, 饶卫雄. 基于3D几何特征深度表达学习的物理系统仿真[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3548-3555.
[8]	范艺扬, 张洋, 曾尚, 曾渝, 付茂栗. 基于分解和频域特征提取的多变量长时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3442-3448.
[9]	刘文博, 于连飞, 谢冬梅, 蔡闯, 曲志坚, 任崇广. 基于多尺度特征融合的时间序列长期预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3435-3441.
[10]	王芳胡静张睿范文婷. 内容引导下多角度特征融合医学图像分割网络[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[11]	王翔陈志祥毛国君. 融合局部和全局相关性的多变量时间序列预测方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[12]	蒋汶娟, 过弋, 付娇娇. 融合图注意力的复杂时序知识图谱推理问答模型[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3047-3057.
[13]	黄华, 杨子仪, 李小龙, 李闯. 基于概念漂移的预测性业务流程监控方法[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3167-3176.
[14]	张睿, 潘俊铭, 白晓露, 胡静, 张荣国, 张鹏云. 面向深度分类模型超参数自优化的代理模型[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3021-3031.
[15]	陈满杨小军杨慧敏. 基于图卷积网络和终点诱导的行人轨迹预测[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.

用于肺部病灶图像分割的多尺度稠密融合网络

Multiscale dense fusion network for lung lesion image segmentation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 22

相关文章 15

编辑推荐

Metrics