对抗样本嵌入注意力U型网络的3D医学图像分割

doi:10.11772/j.issn.1001-9081.2024081134

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (9): 3011-3016.DOI: 10.11772/j.issn.1001-9081.2024081134

• 多媒体计算与计算机仿真 • 上一篇

对抗样本嵌入注意力U型网络的3D医学图像分割

许志雄¹, 李波¹^,²^,³(), 边小勇¹^,²^,³, 胡其仁¹

^1.武汉科技大学计算机科学与技术学院，武汉 430065
^2.武汉科技大学大数据科学与工程研究院，武汉 430072
^3.智能信息处理与实时工业系统湖北省重点实验室（武汉科技大学），武汉 430081

收稿日期:2024-08-11 修回日期:2024-09-25 接受日期:2024-09-27 发布日期:2024-11-07 出版日期:2025-09-10
通讯作者: 李波
作者简介:许志雄（2000—），男，湖北荆州人，硕士研究生，主要研究方向：深度学习、医学图像分割
边小勇（1976—），男，江西吉安人，副教授，博士，主要研究方向：机器学习、目标检测
胡其仁（1999—），男，湖北仙桃人，硕士研究生，主要研究方向：深度学习、目标检测。
基金资助:
国家自然科学基金资助项目(61972299)

Adversarial sample embedded attention U-Net for 3D medical image segmentation

Zhixiong XU¹, Bo LI¹^,²^,³(), Xiaoyong BIAN¹^,²^,³, Qiren HU¹

^1.School of Computer Science and Technology，Wuhan University of Science and Technology，Wuhan Hubei 430065，China
^2.Institute of Big Data Science and Engineering，Wuhan University of Science and Technology，Wuhan Hubei 430072，China
^3.Key Laboratory of Hubei Province for Intelligent Information Processing and Real-time Industrial System （Wuhan University of Science and Technology），Wuhan Hubei 430081，China

Received:2024-08-11 Revised:2024-09-25 Accepted:2024-09-27 Online:2024-11-07 Published:2025-09-10
Contact: Bo LI
About author:XU Zhixiong， born in 2000， M. S. candidate. His research interests include deep learning， medical image segmentation.
BIAN Xiaoyong， born in 1976， Ph. D.， associate professor. His research interests include machine learning， object detection.
HU Qiren， born in 1999， M. S. candidate. His research interests include deep learning， object detection.
Supported by:
National Natural Science Foundation of China(61972299)

摘要/Abstract

摘要：

计算机断层扫描（CT）和核磁共振成像（MRI）图像广泛应用于医学图像深度分割。然而，传统的分割方法受到肿瘤边界模糊及其结构复杂的影响，未能利用对抗样本提升分割模型的区分能力，使获得最好的分割效果面临挑战。针对以上问题，提出一种对抗样本嵌入注意力U型网络学习的3D医学图像分割模型。该模型使用对抗样本嵌入的注意力U型网络以通过样本变换构建对抗样本，并提取医学图像的肿瘤特征信息；引入低维度特征筛选和高维度特征融合模块，以提纯肿瘤可区分特征；使用基于交叉熵、Dice损失和对比损失的组合损失函数训练整个网络，从而得到富于判别性的分割模型。实验结果表明，所提方法在神经鞘膜瘤（NST）和自动心脏诊断挑战（ACDC）数据集上的Dice相似性系数（DSC）分别达到88.14%和91.75%，与非新的U-Net（nnU-Net）方法相比，分别提高了1.26和2.48个百分点。可见，所提方法有效提高了在肿瘤边界模糊时的3D医学图像分割性能。

关键词: 医学图像分割, 深度学习, 注意力U型网络, 对比学习, 特征融合

Abstract:

Computed Tomography （CT） and Magnetic Resonance Imaging （MRI） images are widely used in medical image depth segmentation. However， the traditional segmentation methods are affected by tumor boundary blurring and structural complexity， and ignore adversarial samples’ differentiation ability to the segmentation model， leading to challenges in achieving optimal segmentation results. To address these issues， a 3D medical image segmentation model with adversarial sample-embedded attention U-Net learning was proposed. In the model， by using the adversarial sample-embedded attention U-Net， adversarial samples were constructed through sample transformation， and tumor feature information was extracted from medical images； low-dimensional feature screening and high-dimensional feature fusion modules were introduced to purify the tumor distinguishable feature； the entire network was trained using a combined loss function based on cross-entropy， Dice loss， and contrastive loss to obtain a segmentation model rich in discriminative features. Experimental results show that on Nerve Sheath Tumor （NST） and Automated Cardiac Diagnosis Challenge （ACDC） datasets， the Dice Similarity Coefficients （DSCs） of the proposed method reach 88.14% and 91.75%， respectively， which are improved by 1.26 and 2.48 percentage points compared to those of not new U-Net （nnU-Net） method. It can be seen that the proposed method improves performance of 3D medical image segmentation with blurred tumor boundary effectively.

Key words: medical image segmentation, deep learning, attention U-Net, contrastive learning, feature fusion

中图分类号:

TP391.4

许志雄, 李波, 边小勇, 胡其仁. 对抗样本嵌入注意力U型网络的3D医学图像分割[J]. 计算机应用, 2025, 45(9): 3011-3016.

Zhixiong XU, Bo LI, Xiaoyong BIAN, Qiren HU. Adversarial sample embedded attention U-Net for 3D medical image segmentation[J]. Journal of Computer Applications, 2025, 45(9): 3011-3016.

图/表 7

参考文献 25

[1]	杨健，王媛媛，艾丹妮，等. 多模态图像引导手术导航进展［J］. 光学学报， 2023， 43（15）： No.1500002.
	YANG J， WANG Y Y， AI D N， et al. Developments of multimodal image-guided surgical navigation［J］. Acta Optica Sinica， 2023， 43（15）： No.1500002.
[2]	徐少康，张战成，姚浩男，等. 基于姿态编码器的2D/3D脊椎医学图像实时配准方法［J］. 计算机应用， 2023， 43（2）： 589-594.
	XU S K， ZHANG Z C， YAO H N， et al. 2D/3D spinal medical image real-time registration method for based on pose encoder ［J］. Journal of Computer Applications， 2023， 43（2）： 589-594.
[3]	PHAM D L， XU C， PRINCE J L. Current methods in medical image segmentation ［J］. Annual Review of Biomedical Engineering， 2000， 2： 315-337.
[4]	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
[5]	ÇIÇEK Ö， ABDULKADIR A， LIENKAMP S S， et al. 3D U-Net： learning dense volumetric segmentation from sparse annotation ［C］// Proceedings of the 2016 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9901. Cham： Springer， 2016： 424-432.
[6]	MILLETARI F， NAVAB N， AHMADI S A. V-Net： fully convolutional neural networks for volumetric medical image segmentation ［C］// Proceedings of the 4th International Conference on 3D Vision. Piscataway： IEEE， 2016： 565-571.
[7]	ZHANG Z， LIU Q， WANG Y. Road extraction by deep residual U-Net ［J］. IEEE Geoscience and Remote Sensing Letters， 2018， 15（5）： 749-753.
[8]	ISENSEE F， JAEGER P F， KOHL S A A， et al. nnU-Net： a self-configuring method for deep learning-based biomedical image segmentation ［J］. Nature Methods， 2021， 18（2）： 203-211.
[9]	SIMPSON A L， ANTONELLI M， BAKAS S， et al. A large annotated medical image dataset for the development and evaluation of segmentation algorithms ［EB/OL］. ［2024-07-10］..
[10]	HUANG H， LIN L， TONG R， et al. UNet 3+： a full-scale connected UNet for medical image segmentation ［C］// Proceedings of the 2020 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2020： 1055-1059.
[11]	LIU X， ONO K， BISE R. A data augmentation approach that ensures the reliability of foregrounds in medical image segmentation［J］. Image and Vision Computing， 2024， 147： No.105056.
[12]	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
[13]	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale［EB/OL］. ［2024-07-13］..
[14]	周腊珍，陈红池，李秋霞，等. 基于Transformer深度学习模型在医学图像分割中的研究进展［J］. 中国生物医学工程学报， 2024， 43（4）：467-476.
	ZHOU L Z， CHEN H C， LI Q X， et al. Research progress on Transformer-based deep learning models for medical image segmentation ［J］. Chinese Journal of Biomedical Engineering， 2024， 43（4）： 467-476.
[15]	OKTAY O， SCHLEMPER J， LE FOLGOC L， et al. Attention U-Net： learning where to look for the pancreas ［EB/OL］. ［2024-08-10］..
[16]	CHEN J， LU Y， YU Q， et al. TransUNet： Transformers make strong encoders for medical image segmentation ［EB/OL］. ［2024-08-13］. .
[17]	CAO H， WANG Y， CHEN J， et al. Swin-Unet： Unet-like pure Transformer for medical image segmentation ［C］// Proceedings of the 2022 European Conference on Computer Vision Workshops， LNCS 13803. Cham： Springer， 2023： 205-218.
[18]	BERNARD O， LALANDE A， ZOTTI C， et al. Deep learning techniques for automatic MRI cardiac multi-structures segmentation and diagnosis： is the problem solved？［J］. IEEE Transactions on Medical Imaging， 2018， 37（11）： 2514-2525.
[19]	XIE E， WANG W， YU Z， et al. SegFormer： simple and efficient design for semantic segmentation with Transformers ［C］// Proceedings of the 35th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2021： 12077-12090.
[20]	SHEN Y， LI J， ZHU W， et al. Graph attention U-Net for retinal layer surface detection and choroid neovascularization segmentation in OCT images ［J］. IEEE Transactions on Medical Imaging， 2023， 42（11）： 3140-3154.
[21]	WANG Z， WANG W， LI N， et al. Multimodal parallel attention network for medical image segmentation ［J］. Image and Vision Computing， 2024， 147： No.105069.
[22]	LI Y， YAO T， PAN Y， et al. Contextual Transformer networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（2）： 1489-1500.
[23]	CHEN Y， BRUZZONE L， JIANG L， et al. ARU-Net： reduction of atmospheric phase screen in SAR interferometry using attention-based deep residual U-Net ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021， 59（7）： 5780-5793.
[24]	VALANARASU J M J， SINDAGI V A， HACIHALILOGLU I， et al. KiU-Net： overcomplete convolutional architectures for biomedical image and volumetric segmentation ［J］. IEEE Transactions on Medical Imaging， 2022， 41（4）： 965-976.
[25]	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.

方法	DSC	IoU
3D U-Net^［5］	82.38	72.42
3D ResU-Net^［7］	84.09	75.32
nnU-Net^［8］	86.88	77.78
Att-UNet^［15］	72.10	61.31
TransUNet^［16］	76.60	66.48
Swin-Unet^［17］	80.68	71.16
ARU-Net^［23］	70.72	57.06
KiU-Net^［24］	70.72	58.94
SegNet^［25］	69.67	58.31
本文方法	88.14	79.84

方法	DSC	IoU
3D U-Net^［5］	82.38	72.42
3D ResU-Net^［7］	84.09	75.32
nnU-Net^［8］	86.88	77.78
Att-UNet^［15］	72.10	61.31
TransUNet^［16］	76.60	66.48
Swin-Unet^［17］	80.68	71.16
ARU-Net^［23］	70.72	57.06
KiU-Net^［24］	70.72	58.94
SegNet^［25］	69.67	58.31
本文方法	88.14	79.84

方法	平均DSC	不同部位DSC
方法	平均DSC	RV	Myo	LV
3D U-Net^［5］	87.42	85.78	86.01	90.47
3D ResU-Net^［7］	87.55	87.10	80.63	94.92
nnU-Net^［8］	89.27	88.95	87.16	91.70
Att-UNet^［15］	86.75	87.58	79.20	93.47
TransUNet^［16］	89.71	88.86	84.53	95.73
Swin-Unet^［17］	90.00	88.55	85.62	95.83
ARU-Net^［23］	88.82	87.99	85.25	93.22
KiU-Net^［24］	86.21	85.33	83.41	89.87
SegNet^［25］	86.79	85.05	84.94	90.38
本文方法	91.75	89.50	90.35	95.41

方法	平均DSC	不同部位DSC
方法	平均DSC	RV	Myo	LV
3D U-Net^［5］	87.42	85.78	86.01	90.47
3D ResU-Net^［7］	87.55	87.10	80.63	94.92
nnU-Net^［8］	89.27	88.95	87.16	91.70
Att-UNet^［15］	86.75	87.58	79.20	93.47
TransUNet^［16］	89.71	88.86	84.53	95.73
Swin-Unet^［17］	90.00	88.55	85.62	95.83
ARU-Net^［23］	88.82	87.99	85.25	93.22
KiU-Net^［24］	86.21	85.33	83.41	89.87
SegNet^［25］	86.79	85.05	84.94	90.38
本文方法	91.75	89.50	90.35	95.41

方法	DSC	IoU
本文方法	88.14	79.84
w/o adversarial sample	86.71	78.19
w/o token selection	87.39	78.75
w/o feature fusion	87.30	78.94

对抗样本嵌入注意力U型网络的3D医学图像分割

Adversarial sample embedded attention U-Net for 3D medical image segmentation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 25

相关文章 15

编辑推荐

Metrics

[1]	梁一鸣, 范菁, 柴汶泽. 基于双向交叉注意力的多尺度特征融合情感分类[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2773-2782.
[2]	张宏俊, 潘高军, 叶昊, 陆玉彬, 缪宜恒. 结合深度学习和张量分解的多源异构数据分析方法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2838-2847.
[3]	李进, 刘立群. 基于残差Swin Transformer的SAR与可见光图像融合[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2949-2956.
[4]	殷兵, 凌震华, 林垠, 奚昌凤, 刘颖. 兼容缺失模态推理的情感识别方法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2764-2772.
[5]	刘超, 余岩化. 融合降噪策略与多视图对比学习的知识感知推荐模型[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2827-2837.
[6]	李维刚, 邵佳乐, 田志强. 基于双注意力机制和多尺度融合的点云分类与分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3003-3010.
[7]	景攀峰, 梁宇栋, 李超伟, 郭俊茹, 郭晋育. 基于师生学习的半监督图像去雾算法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2975-2983.
[8]	王祉苑, 彭涛, 杨捷. 分布外检测中训练与测试的内外数据整合[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2497-2506.
[9]	颜承志, 陈颖, 钟凯, 高寒. 基于多尺度网络与轴向注意力的3D目标检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2537-2545.
[10]	廖炎华, 鄢元霞, 潘文林. 基于YOLOv9的交通路口图像的多目标检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2555-2565.
[11]	葛丽娜, 王明禹, 田蕾. 联邦学习的高效性研究综述[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2387-2398.
[12]	习怡萌, 邓箴, 刘倩, 刘立波. 跨模态信息融合的视频-文本检索[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2448-2456.
[13]	林进浩, 罗川, 李天瑞, 陈红梅. 基于跨尺度注意力网络的胸部疾病分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2712-2719.
[14]	彭鹏, 蔡子婷, 刘雯玲, 陈才华, 曾维, 黄宝来. 基于CNN和双向GRU混合孪生网络的语音情感识别方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2515-2521.
[15]	张硕, 孙国凯, 庄园, 冯小雨, 王敬之. 面向区块链节点分析的eclipse攻击动态检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2428-2436.