基于邻近切片注意力融合的直肠癌分割网络

doi:10.11772/j.issn.1001-9081.2023010045

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (12): 3918-3926.DOI: 10.11772/j.issn.1001-9081.2023010045

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于邻近切片注意力融合的直肠癌分割网络

兰冬雷¹^,²(), 王晓东¹^,², 姚宇¹^,², 王辛³, 周继陶³

^1.中国科学院成都计算机应用研究所, 成都 610213
^2.中国科学院大学, 北京 100049
^3.四川大学华西医院腹部肿瘤科, 成都 610041

收稿日期:2023-01-17 修回日期:2023-03-15 接受日期:2023-03-16 发布日期:2023-06-06 出版日期:2023-12-10
通讯作者: 兰冬雷
作者简介:王晓东（1973—），男，四川乐山人，研究员，主要研究方向：网络工程
姚宇（1980—），男，四川宜宾人，研究员，博士，主要研究方向：机器学习、模式识别
王辛（1977—），女，四川成都人，教授，博士，主要研究方向：直肠肿瘤的诊断与治疗
周继陶（1985—），女，四川成都人，主治医师，博士，主要研究方向：直肠肿瘤的诊断与治疗。
基金资助:
国家自然科学基金资助项目(82073338);四川省科技计划项目重点研发项目(2022YFS0217)

Rectal cancer segmentation network based on adjacent slice attention fusion

Donglei LAN¹^,²(), Xiaodong WANG¹^,², Yu YAO¹^,², Xin WANG³, Jitao ZHOU³

^1.Chengdu Institute of Computer Application，Chinese Academy of Sciences，Chengdu Sichuan 610213，China
^2.University of Chinese Academy of Sciences，Beijing 100049，China
^3.Department of Abdominal Oncology，West China Hospital，Sichuan University，Chengdu Sichuan 610041，China

Received:2023-01-17 Revised:2023-03-15 Accepted:2023-03-16 Online:2023-06-06 Published:2023-12-10
Contact: Donglei LAN
About author:WANG Xiaodong， born in 1973， research fellow. His research interests include network engineering.
YAO Yu， born in 1980， Ph. D.， research fellow. His research interests include machine learning， pattern recognition.
WANG Xin， born in 1977， Ph. D.， professor. Her research interests include rectal tumor diagnosis and treatment.
ZHOU Jitao， born in 1985， Ph. D.， chief physician. Her research interests include rectal tumor diagnosis and treatment.
Supported by:
National Natural Science Foundation of China(82073338);Key Research and Development Project of Sichuan Provincial Science and Technology Program(2022YFS0217)

摘要/Abstract

摘要：

针对直肠癌目标靶区在磁共振成像（MRI）图像的大小、形状、纹理和边界清晰程度不同等问题，为了克服患者之间的个体差异性并提高分割精度，提出一种基于邻近切片注意力融合的直肠癌分割网络（ASAF-Net）。首先，使用高分辨率网络（HRNet）作为主干网络，并在特征提取过程始终保持高分辨率特征表示，以减少语义信息和空间位置信息的损失；其次，通过邻近切片注意力融合（ASAF）模块融合并增强相邻切片之间的多尺度上下文语义信息，使网络能够学习相邻切片之间的空间特征；最后，在解码网络使用全卷积网络（FCN）和空洞空间金字塔池化（ASPP）分割头协同训练，并通过添加相邻切片间的一致性约束作为辅助损失缓解训练过程中出现的相邻切片差异过大的问题。实验结果表明，与HRNet相比，ASAF-Net在平均交并比（IoU）、平均Dice相似系数（DSC）指标上分别提升了1.68和1.26个百分点，平均95%豪斯多夫距离（HD）降低了0.91 mm。同时，ASAF-Net在直肠癌MRI图像多目标靶区的内部填充和边界预测方面均能实现更好的分割效果，有助于提升医生在临床辅助诊断中的效率。

关键词: 直肠癌, 图像分割, 注意力机制, 特征融合, 深度学习

Abstract:

Aiming at the problem that the target regions of rectal cancer show different sizes， shapes， textures， and boundary clarity on Magnetic Resonance Imaging （MRI） images， to overcome the individual variability among patients and improve the segmentation accuracy， an Adjacent Slice Attention Fusion Network for rectal cancer segmentation （ASAF-Net） was proposed. Firstly， using High Resolution Network （HRNet） as the backbone network， the high-resolution feature representation was maintained during the feature extraction process， thereby reducing the loss of semantic information and spatial location information. Secondly， the multi-scale contextual semantic information between adjacent slices was fused and enhanced by the Adjacent Slice Attention Fusion （ASAF） module， so that the network was able to learn the spatial features between adjacent slices. Finally， in the decoder， the co-training of Fully Convolutional Network （FCN） and Atrous Spatial Pyramid Pooling （ASPP） segmentation heads was carried out， and the large differences between adjacent slices during training was reduced by adding consistency constraints between adjacent slices as an auxiliary loss. Experimental results show that compared with HRNet， ASAF-Net improves the mean Intersection over Union （IoU） and mean Dice Similarity Coefficient （DSC） by 1.68 and 1.26 percentage points， respectively， and reduces the 95% mean Hausdorff Distance （HD） by 0.91 mm. At the same time， ASAF-Net can achieve better segmentation results in both internal filling and edge prediction of multi-objective target regions in rectal cancer MRI image， and helps to improve physician efficiency in clinical auxiliary diagnosis.

Key words: rectal cancer, image segmentation, attention mechanism, feature fusion, deep learning

中图分类号:

TP391.41

兰冬雷, 王晓东, 姚宇, 王辛, 周继陶. 基于邻近切片注意力融合的直肠癌分割网络[J]. 计算机应用, 2023, 43(12): 3918-3926.

Donglei LAN, Xiaodong WANG, Yu YAO, Xin WANG, Jitao ZHOU. Rectal cancer segmentation network based on adjacent slice attention fusion[J]. Journal of Computer Applications, 2023, 43(12): 3918-3926.

图/表 11

参考文献 31

1	SUNG H， FERLAY J， SIEGEL R L， et al. Global cancer statistics 2020： GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries［J］. CA： A Cancer Journal for Clinicians， 2021， 71（3）： 209-249. 10.3322/caac.21660
2	WANG F H， ZHANG X T， LI Y F， et al. The Chinese Society of Clinical Oncology （CSCO）： clinical guidelines for the diagnosis and treatment of gastric cancer［J］. Cancer Communications， 2021， 41（8）： 747-795. 10.1002/cac2.12193
3	冯超，卢方明，李晓军，等. 探讨高分辨MRI对直肠癌术前T、N分期及环周切缘评估的准确性［J］. 世界最新医学信息文摘， 2019， 19（68）：189-190.
	FENG C， LU F M， LI X J， et al. Exploring the accuracy of high-resolution MRI for preoperative T and N staging and peri-annular margin assessment of rectal cancer［J］. World Latest Medicine Information， 2019， 19（68）： 189-190.
4	熊赤，牛朝诗. 多模态磁共振成像在脑胶质瘤鉴别诊断的应用［J］. 立体定向和功能性神经外科杂志， 2013， 26（1）：49-54.
	XIONG C， NIU C S. Application of multimodal magnetic resonance imaging in the differential diagnosis of glioma［J］. Chinese Journal of Stereotactic and Functional Neurosurgery， 2013， 26（1）： 49-54.
5	WANG S， ZHOU M， LIU Z， et al. Central focused convolutional neural networks： developing a data-driven model for lung nodule segmentation ［J］. Medical Image Analysis， 2017， 40： 172-183. 10.1016/j.media.2017.06.014
6	SONG J， YANG C， FAN L， et al. Lung lesion extraction using a toboggan based growing automatic segmentation approach ［J］. IEEE Transactions on Medical Imaging， 2016， 35（1）： 337-353. 10.1109/tmi.2015.2474119
7	BEN-COHEN A， DIAMANT I， KLANG E， et al. Fully convolutional network for liver segmentation and lesions detection［C］// Proceedings of the 2016 International Workshop on Deep Learning in Medical Image Analysis/ International Workshop on Large-Scale Annotation of Biomedical Data and Expert Label Synthesis， LNCS 10008. Cham： Springer， 2016：77-85.
8	DE BRÉBISSON A， MONTANA G. Deep neural networks for anatomical brain segmentation ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2015： 20-28. 10.1109/cvprw.2015.7301312
9	ZHUANG J. LadderNet： multi-path networks based on U-Net for medical image segmentation［EB/OL］. （2019-08-28）［2022-12-25］..
10	ZHU H T， ZHANG X Y， SHI Y J， et al. Automatic segmentation of rectal tumor on diffusion-weighted images by deep learning with U-Net ［J］. Journal of Applied Clinical Medical Physics， 2021， 22（9）： 324-331. 10.1002/acm2.13381
11	ZHAO X， XIE P， WANG M， et al. Deep learning-based fully automated detection and segmentation of lymph nodes on multiparametric-mri for rectal cancer： a multicentre study［J］. eBioMedicine， 2020， 56： No.102780. 10.1016/j.ebiom.2020.102780
12	LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 39（4）： 640-651.
13	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 2015 Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
14	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（4）：834-848. 10.1109/tpami.2017.2699184
15	HE K， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015，37（9）： 1904-1916. 10.1109/tpami.2015.2389824
16	WANG J， SUN K， CHENG T， et al. Deep high-resolution representation learning for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（10）： 3349-3364. 10.1109/tpami.2020.2983686
17	BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate ［EB/OL］. （2016-05-19）［2022-12-28］.. 10.1017/9781108608480.003
18	MNIH V， HEESS N， GRAVES A， et al. Recurrent models of visual attention［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems — Volume 2. Red Hook， NY： Curran Associates Inc.， 2014： 2204-2212.
19	HU J， SHEN L， SUN G， et al. Squeeze-and-excitation networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023. 10.1109/tpami.2019.2913372
20	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.
21	WANG Q， WU B， ZHU P， et al. ECA-Net： efficient channel attention for deep convolutional neural networks ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 2235-2239. 10.1109/cvpr42600.2020.01155
22	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International and Workshop on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.
23	WANG X， GIRSHICK R， GUPTA A， et al. Non-local neural networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：7794-7803. 10.1109/cvpr.2018.00813
24	TREBESCHI S， VAN GRIETHUYSEN J J M， LAMBREGTS D M J， et al. Deep learning for fully-automated localization and segmentation of rectal cancer on multiparametric MR［J］. Scientific Reports， 2017， 7： No.5301. 10.1038/s41598-017-05728-9
25	RAO Y， ZHENG W， ZENG S， et al. Using channel concatenation and lightweight atrous convolution in U-Net for accurate rectal cancer segmentation［C］// Proceedings of the 4th International Conference on Pattern Recognition and Artificial Intelligence. Piscataway： IEEE， 2021： 247-254. 10.1109/prai53619.2021.9551051
26	MENG P， SUN C， LI Y， et al. MSBC-Net： automatic rectal cancer segmentation from MR scans ［EB/OL］. ［2023-02-20］.. 10.36227/techrxiv.16577417
27	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495. 10.1109/tpami.2016.2644615
28	NOH H， HONG S， HAN B. Learning deconvolution network for semantic segmentation［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015：1520-1528. 10.1109/iccv.2015.178
29	YUAN J， LIU Y， SHEN C， et al. A simple baseline for semi-supervised semantic segmentation with strong data augmentation［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 8209-8218. 10.1109/iccv48922.2021.00812
30	ZHANG Y， YUAN l， WANG Y， et al. SAU-Net： efficient 3D spine MRI segmentation using inter-slice attention［C］// Proceedings of the 3rd Conference on Medical Imaging with Deep Learning. New York： JMLR.org， 2020：903-913.
31	LV P， WANG J， WANG H. 2.5D lightweight RIU-Net for automatic liver and tumor segmentation from CT ［J］. Biomedical Signal Processing and Control， 2022， 75： No.103567. 10.1016/j.bspc.2022.103567

网络	backbone	参数量/10⁶	浮点运算量/GFLOPs	mean IoU/%	mean DSC/%	mean 95% HD/mm
FCN	ResNet18	16.65	35.00	56.84±2.78	70.83±2.70	32.45±10.21
U-Net	U-Net	33.77	49.45	59.92±3.03	73.15±2.83	29.20±6.18
DeepLabV3	U-Net	38.63	67.96	60.53±3.62	73.93±2.90	28.57±9.23
HRNetV2	HRNet	16.78	27.57	61.39±3.03	74.70±2.83	26.37±6.44
本文网络	HRNet	23.73	34.36	63.07±3.30	75.96±2.86	25.46±5.62

网络	backbone	参数量/10⁶	浮点运算量/GFLOPs	mean IoU/%	mean DSC/%	mean 95% HD/mm
FCN	ResNet18	16.65	35.00	56.84±2.78	70.83±2.70	32.45±10.21
U-Net	U-Net	33.77	49.45	59.92±3.03	73.15±2.83	29.20±6.18
DeepLabV3	U-Net	38.63	67.96	60.53±3.62	73.93±2.90	28.57±9.23
HRNetV2	HRNet	16.78	27.57	61.39±3.03	74.70±2.83	26.37±6.44
本文网络	HRNet	23.73	34.36	63.07±3.30	75.96±2.86	25.46±5.62

网络	IoU/%			DSC/%			95% HD/mm
网络	肿瘤	直肠系膜	外淋巴结区	肿瘤	直肠系膜	外淋巴结区	肿瘤	直肠系膜	外淋巴结区
FCN	33.95±5.56	71.36±4.68	65.21±3.79	50.42±6.49	83.20±3.15	78.88±2.83	43.65±10.23	25.38±5.25	29.24±8.67
U-Net	34.94±5.32	73.35±3.39	71.48±3.21	51.54±6.18	84.58±2.23	83.33±2.16	41.26±12.67	23.51±3.77	22.84±6.36
DeepLabV3	37.50±4.15	72.89±4.82	71.21±3.37	54.42±4.32	84.23±3.28	83.13±2.35	39.31±15.18	22.31±7.62	24.11±6.07
HRNetV2	39.85±5.32	77.17±3.39	67.13±3.21	56.87±6.18	87.03±2.23	80.18±2.16	38.07±11.36	16.80±3.79	24.24±5.64
本文网络	40.73±6.28	76.71±2.65	71.78±2.15	57.61±6.25	86.73±1.67	83.56±1.44	38.04±11.46	17.60±3.18	20.75±3.76

网络	IoU/%			DSC/%			95% HD/mm
网络	肿瘤	直肠系膜	外淋巴结区	肿瘤	直肠系膜	外淋巴结区	肿瘤	直肠系膜	外淋巴结区
FCN	33.95±5.56	71.36±4.68	65.21±3.79	50.42±6.49	83.20±3.15	78.88±2.83	43.65±10.23	25.38±5.25	29.24±8.67
U-Net	34.94±5.32	73.35±3.39	71.48±3.21	51.54±6.18	84.58±2.23	83.33±2.16	41.26±12.67	23.51±3.77	22.84±6.36
DeepLabV3	37.50±4.15	72.89±4.82	71.21±3.37	54.42±4.32	84.23±3.28	83.13±2.35	39.31±15.18	22.31±7.62	24.11±6.07
HRNetV2	39.85±5.32	77.17±3.39	67.13±3.21	56.87±6.18	87.03±2.23	80.18±2.16	38.07±11.36	16.80±3.79	24.24±5.64
本文网络	40.73±6.28	76.71±2.65	71.78±2.15	57.61±6.25	86.73±1.67	83.56±1.44	38.04±11.46	17.60±3.18	20.75±3.76

方法	backbone	分割头	消融模块		平均IoU/%	平均DSC/%	平均95%HD/mm
方法	backbone	分割头	ASAF模块	一致性损失	平均IoU/%	平均DSC/%	平均95%HD/mm
①	HRNet	FCN+ASPP			61.83±2.73	74.89±3.17	26.42±7.45
②	HRNet	FCN+ASPP	√		62.94±4.32	75.47±2.54	25.87±6.42
③	HRNet	FCN+ASPP		√	62.11±3.22	75.05±3.03	26.25±6.88
④	HRNet	FCN+ASPP	√	√	63.07±3.30	75.96±2.86	25.46±5.62

基于邻近切片注意力融合的直肠癌分割网络

Rectal cancer segmentation network based on adjacent slice attention fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 31

相关文章 15

编辑推荐

Metrics

方法	backbone	neck	分割头	参数量/10⁶	浮点运算量 /GFLOPs	评价指标
方法	backbone	neck	分割头	参数量/10⁶	浮点运算量 /GFLOPs	平均IoU/%	平均DSC/%	平均95%HD/mm
⑤	ResNet	—	FCN	16.65	35.00	56.84±2.78	70.83±2.70	32.45±10.21
⑥	ResNet	ASAF模块	FCN	23.63	48.76	56.96±5.46	71.05±4.34	30.74±9.34
⑦	U-Net	—	FCN	33.77	49.45	59.92±3.03	73.15±2.83	29.20±6.18
⑧	U-Net	ASAF模块	FCN	38.84	85.69	60.73±4.32	74.07±6.23	28.46±9.73

[1]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[2]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[3]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[4]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[5]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[6]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[7]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[8]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[9]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[10]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[11]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[12]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[13]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[14]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[15]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.