基于邻近切片注意力融合的直肠癌分割网络

doi:10.11772/j.issn.1001-9081.2023010045

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (12): 3918-3926.DOI: 10.11772/j.issn.1001-9081.2023010045

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于邻近切片注意力融合的直肠癌分割网络

兰冬雷¹^,²(), 王晓东¹^,², 姚宇¹^,², 王辛³, 周继陶³

^1.中国科学院成都计算机应用研究所, 成都 610213
^2.中国科学院大学, 北京 100049
^3.四川大学华西医院腹部肿瘤科, 成都 610041

收稿日期:2023-01-17 修回日期:2023-03-15 接受日期:2023-03-16 发布日期:2023-06-06 出版日期:2023-12-10
通讯作者: 兰冬雷
作者简介:王晓东（1973—），男，四川乐山人，研究员，主要研究方向：网络工程
姚宇（1980—），男，四川宜宾人，研究员，博士，主要研究方向：机器学习、模式识别
王辛（1977—），女，四川成都人，教授，博士，主要研究方向：直肠肿瘤的诊断与治疗
周继陶（1985—），女，四川成都人，主治医师，博士，主要研究方向：直肠肿瘤的诊断与治疗。
基金资助:
国家自然科学基金资助项目(82073338);四川省科技计划项目重点研发项目(2022YFS0217)

Rectal cancer segmentation network based on adjacent slice attention fusion

Donglei LAN¹^,²(), Xiaodong WANG¹^,², Yu YAO¹^,², Xin WANG³, Jitao ZHOU³

^1.Chengdu Institute of Computer Application，Chinese Academy of Sciences，Chengdu Sichuan 610213，China
^2.University of Chinese Academy of Sciences，Beijing 100049，China
^3.Department of Abdominal Oncology，West China Hospital，Sichuan University，Chengdu Sichuan 610041，China

Received:2023-01-17 Revised:2023-03-15 Accepted:2023-03-16 Online:2023-06-06 Published:2023-12-10
Contact: Donglei LAN
About author:WANG Xiaodong， born in 1973， research fellow. His research interests include network engineering.
YAO Yu， born in 1980， Ph. D.， research fellow. His research interests include machine learning， pattern recognition.
WANG Xin， born in 1977， Ph. D.， professor. Her research interests include rectal tumor diagnosis and treatment.
ZHOU Jitao， born in 1985， Ph. D.， chief physician. Her research interests include rectal tumor diagnosis and treatment.
Supported by:
National Natural Science Foundation of China(82073338);Key Research and Development Project of Sichuan Provincial Science and Technology Program(2022YFS0217)

摘要/Abstract

摘要：

针对直肠癌目标靶区在磁共振成像（MRI）图像的大小、形状、纹理和边界清晰程度不同等问题，为了克服患者之间的个体差异性并提高分割精度，提出一种基于邻近切片注意力融合的直肠癌分割网络（ASAF-Net）。首先，使用高分辨率网络（HRNet）作为主干网络，并在特征提取过程始终保持高分辨率特征表示，以减少语义信息和空间位置信息的损失；其次，通过邻近切片注意力融合（ASAF）模块融合并增强相邻切片之间的多尺度上下文语义信息，使网络能够学习相邻切片之间的空间特征；最后，在解码网络使用全卷积网络（FCN）和空洞空间金字塔池化（ASPP）分割头协同训练，并通过添加相邻切片间的一致性约束作为辅助损失缓解训练过程中出现的相邻切片差异过大的问题。实验结果表明，与HRNet相比，ASAF-Net在平均交并比（IoU）、平均Dice相似系数（DSC）指标上分别提升了1.68和1.26个百分点，平均95%豪斯多夫距离（HD）降低了0.91 mm。同时，ASAF-Net在直肠癌MRI图像多目标靶区的内部填充和边界预测方面均能实现更好的分割效果，有助于提升医生在临床辅助诊断中的效率。

关键词: 直肠癌, 图像分割, 注意力机制, 特征融合, 深度学习

Abstract:

Aiming at the problem that the target regions of rectal cancer show different sizes， shapes， textures， and boundary clarity on Magnetic Resonance Imaging （MRI） images， to overcome the individual variability among patients and improve the segmentation accuracy， an Adjacent Slice Attention Fusion Network for rectal cancer segmentation （ASAF-Net） was proposed. Firstly， using High Resolution Network （HRNet） as the backbone network， the high-resolution feature representation was maintained during the feature extraction process， thereby reducing the loss of semantic information and spatial location information. Secondly， the multi-scale contextual semantic information between adjacent slices was fused and enhanced by the Adjacent Slice Attention Fusion （ASAF） module， so that the network was able to learn the spatial features between adjacent slices. Finally， in the decoder， the co-training of Fully Convolutional Network （FCN） and Atrous Spatial Pyramid Pooling （ASPP） segmentation heads was carried out， and the large differences between adjacent slices during training was reduced by adding consistency constraints between adjacent slices as an auxiliary loss. Experimental results show that compared with HRNet， ASAF-Net improves the mean Intersection over Union （IoU） and mean Dice Similarity Coefficient （DSC） by 1.68 and 1.26 percentage points， respectively， and reduces the 95% mean Hausdorff Distance （HD） by 0.91 mm. At the same time， ASAF-Net can achieve better segmentation results in both internal filling and edge prediction of multi-objective target regions in rectal cancer MRI image， and helps to improve physician efficiency in clinical auxiliary diagnosis.

Key words: rectal cancer, image segmentation, attention mechanism, feature fusion, deep learning

中图分类号:

TP391.41

兰冬雷, 王晓东, 姚宇, 王辛, 周继陶. 基于邻近切片注意力融合的直肠癌分割网络[J]. 计算机应用, 2023, 43(12): 3918-3926.

Donglei LAN, Xiaodong WANG, Yu YAO, Xin WANG, Jitao ZHOU. Rectal cancer segmentation network based on adjacent slice attention fusion[J]. Journal of Computer Applications, 2023, 43(12): 3918-3926.

图/表 11

参考文献 31

1	SUNG H， FERLAY J， SIEGEL R L， et al. Global cancer statistics 2020： GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries［J］. CA： A Cancer Journal for Clinicians， 2021， 71（3）： 209-249. 10.3322/caac.21660
2	WANG F H， ZHANG X T， LI Y F， et al. The Chinese Society of Clinical Oncology （CSCO）： clinical guidelines for the diagnosis and treatment of gastric cancer［J］. Cancer Communications， 2021， 41（8）： 747-795. 10.1002/cac2.12193
3	冯超，卢方明，李晓军，等. 探讨高分辨MRI对直肠癌术前T、N分期及环周切缘评估的准确性［J］. 世界最新医学信息文摘， 2019， 19（68）：189-190.
	FENG C， LU F M， LI X J， et al. Exploring the accuracy of high-resolution MRI for preoperative T and N staging and peri-annular margin assessment of rectal cancer［J］. World Latest Medicine Information， 2019， 19（68）： 189-190.
4	熊赤，牛朝诗. 多模态磁共振成像在脑胶质瘤鉴别诊断的应用［J］. 立体定向和功能性神经外科杂志， 2013， 26（1）：49-54.
	XIONG C， NIU C S. Application of multimodal magnetic resonance imaging in the differential diagnosis of glioma［J］. Chinese Journal of Stereotactic and Functional Neurosurgery， 2013， 26（1）： 49-54.
5	WANG S， ZHOU M， LIU Z， et al. Central focused convolutional neural networks： developing a data-driven model for lung nodule segmentation ［J］. Medical Image Analysis， 2017， 40： 172-183. 10.1016/j.media.2017.06.014
6	SONG J， YANG C， FAN L， et al. Lung lesion extraction using a toboggan based growing automatic segmentation approach ［J］. IEEE Transactions on Medical Imaging， 2016， 35（1）： 337-353. 10.1109/tmi.2015.2474119
7	BEN-COHEN A， DIAMANT I， KLANG E， et al. Fully convolutional network for liver segmentation and lesions detection［C］// Proceedings of the 2016 International Workshop on Deep Learning in Medical Image Analysis/ International Workshop on Large-Scale Annotation of Biomedical Data and Expert Label Synthesis， LNCS 10008. Cham： Springer， 2016：77-85.
8	DE BRÉBISSON A， MONTANA G. Deep neural networks for anatomical brain segmentation ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2015： 20-28. 10.1109/cvprw.2015.7301312
9	ZHUANG J. LadderNet： multi-path networks based on U-Net for medical image segmentation［EB/OL］. （2019-08-28）［2022-12-25］..
10	ZHU H T， ZHANG X Y， SHI Y J， et al. Automatic segmentation of rectal tumor on diffusion-weighted images by deep learning with U-Net ［J］. Journal of Applied Clinical Medical Physics， 2021， 22（9）： 324-331. 10.1002/acm2.13381
11	ZHAO X， XIE P， WANG M， et al. Deep learning-based fully automated detection and segmentation of lymph nodes on multiparametric-mri for rectal cancer： a multicentre study［J］. eBioMedicine， 2020， 56： No.102780. 10.1016/j.ebiom.2020.102780
12	LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 39（4）： 640-651.
13	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 2015 Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
14	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（4）：834-848. 10.1109/tpami.2017.2699184
15	HE K， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015，37（9）： 1904-1916. 10.1109/tpami.2015.2389824
16	WANG J， SUN K， CHENG T， et al. Deep high-resolution representation learning for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（10）： 3349-3364. 10.1109/tpami.2020.2983686
17	BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate ［EB/OL］. （2016-05-19）［2022-12-28］.. 10.1017/9781108608480.003
18	MNIH V， HEESS N， GRAVES A， et al. Recurrent models of visual attention［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems — Volume 2. Red Hook， NY： Curran Associates Inc.， 2014： 2204-2212.
19	HU J， SHEN L， SUN G， et al. Squeeze-and-excitation networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023. 10.1109/tpami.2019.2913372
20	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.
21	WANG Q， WU B， ZHU P， et al. ECA-Net： efficient channel attention for deep convolutional neural networks ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 2235-2239. 10.1109/cvpr42600.2020.01155
22	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International and Workshop on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.
23	WANG X， GIRSHICK R， GUPTA A， et al. Non-local neural networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：7794-7803. 10.1109/cvpr.2018.00813
24	TREBESCHI S， VAN GRIETHUYSEN J J M， LAMBREGTS D M J， et al. Deep learning for fully-automated localization and segmentation of rectal cancer on multiparametric MR［J］. Scientific Reports， 2017， 7： No.5301. 10.1038/s41598-017-05728-9
25	RAO Y， ZHENG W， ZENG S， et al. Using channel concatenation and lightweight atrous convolution in U-Net for accurate rectal cancer segmentation［C］// Proceedings of the 4th International Conference on Pattern Recognition and Artificial Intelligence. Piscataway： IEEE， 2021： 247-254. 10.1109/prai53619.2021.9551051
26	MENG P， SUN C， LI Y， et al. MSBC-Net： automatic rectal cancer segmentation from MR scans ［EB/OL］. ［2023-02-20］.. 10.36227/techrxiv.16577417
27	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495. 10.1109/tpami.2016.2644615
28	NOH H， HONG S， HAN B. Learning deconvolution network for semantic segmentation［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015：1520-1528. 10.1109/iccv.2015.178
29	YUAN J， LIU Y， SHEN C， et al. A simple baseline for semi-supervised semantic segmentation with strong data augmentation［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 8209-8218. 10.1109/iccv48922.2021.00812
30	ZHANG Y， YUAN l， WANG Y， et al. SAU-Net： efficient 3D spine MRI segmentation using inter-slice attention［C］// Proceedings of the 3rd Conference on Medical Imaging with Deep Learning. New York： JMLR.org， 2020：903-913.
31	LV P， WANG J， WANG H. 2.5D lightweight RIU-Net for automatic liver and tumor segmentation from CT ［J］. Biomedical Signal Processing and Control， 2022， 75： No.103567. 10.1016/j.bspc.2022.103567

网络	backbone	参数量/10⁶	浮点运算量/GFLOPs	mean IoU/%	mean DSC/%	mean 95% HD/mm
FCN	ResNet18	16.65	35.00	56.84±2.78	70.83±2.70	32.45±10.21
U-Net	U-Net	33.77	49.45	59.92±3.03	73.15±2.83	29.20±6.18
DeepLabV3	U-Net	38.63	67.96	60.53±3.62	73.93±2.90	28.57±9.23
HRNetV2	HRNet	16.78	27.57	61.39±3.03	74.70±2.83	26.37±6.44
本文网络	HRNet	23.73	34.36	63.07±3.30	75.96±2.86	25.46±5.62

网络	backbone	参数量/10⁶	浮点运算量/GFLOPs	mean IoU/%	mean DSC/%	mean 95% HD/mm
FCN	ResNet18	16.65	35.00	56.84±2.78	70.83±2.70	32.45±10.21
U-Net	U-Net	33.77	49.45	59.92±3.03	73.15±2.83	29.20±6.18
DeepLabV3	U-Net	38.63	67.96	60.53±3.62	73.93±2.90	28.57±9.23
HRNetV2	HRNet	16.78	27.57	61.39±3.03	74.70±2.83	26.37±6.44
本文网络	HRNet	23.73	34.36	63.07±3.30	75.96±2.86	25.46±5.62

网络	IoU/%			DSC/%			95% HD/mm
网络	肿瘤	直肠系膜	外淋巴结区	肿瘤	直肠系膜	外淋巴结区	肿瘤	直肠系膜	外淋巴结区
FCN	33.95±5.56	71.36±4.68	65.21±3.79	50.42±6.49	83.20±3.15	78.88±2.83	43.65±10.23	25.38±5.25	29.24±8.67
U-Net	34.94±5.32	73.35±3.39	71.48±3.21	51.54±6.18	84.58±2.23	83.33±2.16	41.26±12.67	23.51±3.77	22.84±6.36
DeepLabV3	37.50±4.15	72.89±4.82	71.21±3.37	54.42±4.32	84.23±3.28	83.13±2.35	39.31±15.18	22.31±7.62	24.11±6.07
HRNetV2	39.85±5.32	77.17±3.39	67.13±3.21	56.87±6.18	87.03±2.23	80.18±2.16	38.07±11.36	16.80±3.79	24.24±5.64
本文网络	40.73±6.28	76.71±2.65	71.78±2.15	57.61±6.25	86.73±1.67	83.56±1.44	38.04±11.46	17.60±3.18	20.75±3.76

网络	IoU/%			DSC/%			95% HD/mm
网络	肿瘤	直肠系膜	外淋巴结区	肿瘤	直肠系膜	外淋巴结区	肿瘤	直肠系膜	外淋巴结区
FCN	33.95±5.56	71.36±4.68	65.21±3.79	50.42±6.49	83.20±3.15	78.88±2.83	43.65±10.23	25.38±5.25	29.24±8.67
U-Net	34.94±5.32	73.35±3.39	71.48±3.21	51.54±6.18	84.58±2.23	83.33±2.16	41.26±12.67	23.51±3.77	22.84±6.36
DeepLabV3	37.50±4.15	72.89±4.82	71.21±3.37	54.42±4.32	84.23±3.28	83.13±2.35	39.31±15.18	22.31±7.62	24.11±6.07
HRNetV2	39.85±5.32	77.17±3.39	67.13±3.21	56.87±6.18	87.03±2.23	80.18±2.16	38.07±11.36	16.80±3.79	24.24±5.64
本文网络	40.73±6.28	76.71±2.65	71.78±2.15	57.61±6.25	86.73±1.67	83.56±1.44	38.04±11.46	17.60±3.18	20.75±3.76

方法	backbone	分割头	消融模块		平均IoU/%	平均DSC/%	平均95%HD/mm
方法	backbone	分割头	ASAF模块	一致性损失	平均IoU/%	平均DSC/%	平均95%HD/mm
①	HRNet	FCN+ASPP			61.83±2.73	74.89±3.17	26.42±7.45
②	HRNet	FCN+ASPP	√		62.94±4.32	75.47±2.54	25.87±6.42
③	HRNet	FCN+ASPP		√	62.11±3.22	75.05±3.03	26.25±6.88
④	HRNet	FCN+ASPP	√	√	63.07±3.30	75.96±2.86	25.46±5.62

基于邻近切片注意力融合的直肠癌分割网络

Rectal cancer segmentation network based on adjacent slice attention fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 31

相关文章 15

编辑推荐

Metrics

方法	backbone	neck	分割头	参数量/10⁶	浮点运算量 /GFLOPs	评价指标
方法	backbone	neck	分割头	参数量/10⁶	浮点运算量 /GFLOPs	平均IoU/%	平均DSC/%	平均95%HD/mm
⑤	ResNet	—	FCN	16.65	35.00	56.84±2.78	70.83±2.70	32.45±10.21
⑥	ResNet	ASAF模块	FCN	23.63	48.76	56.96±5.46	71.05±4.34	30.74±9.34
⑦	U-Net	—	FCN	33.77	49.45	59.92±3.03	73.15±2.83	29.20±6.18
⑧	U-Net	ASAF模块	FCN	38.84	85.69	60.73±4.32	74.07±6.23	28.46±9.73

[1]	张秋余, 温永旺. 用于语音检索的三联体深度哈希方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2910-2918.
[2]	杨昊, 张轶. 基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2727-2734.
[3]	张涵钰, 李振波, 李蔚然, 杨普. 基于机器视觉的水产养殖计数研究综述[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2970-2982.
[4]	袁国龙, 张玉金, 刘洋. 基于残差反馈和自注意力的图像篡改取证网络[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2925-2931.
[5]	陈俊韬, 朱子奇. 基于多尺度特征提取与融合的图像复制-粘贴伪造检测[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2919-2924.
[6]	王宏, 钱清, 王欢, 龙永. 融合大核注意力卷积的轻量化图像篡改定位算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2692-2699.
[7]	何子仪, 杨燕, 张熠玲. 深度融合多视图聚类网络[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2651-2656.
[8]	刘源, 董永权, 贾瑞, 杨昊霖. 面向个性化课程推荐的分层分期注意力网络模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2358-2363.
[9]	李校林, 杨松佳. 基于深度学习的多用户毫米波中继网络混合波束赋形[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2511-2516.
[10]	段升位, 程欣宇, 王浩舟, 王飞. 基于改进的YOLOv5的大坝表面病害检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2619-2629.
[11]	刘欢, 吴亮红, 张侣, 陈亮, 周博文, 张红强. 基于特征双融合CenterNet的白细胞检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2602-2610.
[12]	王一, 谢杰, 程佳, 豆立伟. 基于深度学习的RGB图像目标位姿估计综述[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2546-2555.
[13]	郭祥, 姜文刚, 王宇航. 基于改进Inception-ResNet的加密流量分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2471-2476.
[14]	徐则林, 杨敏, 陈勐. 融合空间和文本信息的兴趣点类别表征模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2456-2461.
[15]	崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.