融合滤波增强和反转注意力网络用于息肉分割

doi:10.11772/j.issn.1001-9081.2021111882

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (1): 265-272.DOI: 10.11772/j.issn.1001-9081.2021111882

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

融合滤波增强和反转注意力网络用于息肉分割

林荐壮¹, 杨文忠¹, 谭思翔¹, 周乐鑫², 陈丹妮¹

1.新疆大学信息科学与工程学院，乌鲁木齐 830046
2.新疆大学软件学院，乌鲁木齐 830091

收稿日期:2021-11-09 修回日期:2022-05-08 发布日期:2023-01-12
作者简介:林荐壮（1995—），男，福建莆田人，硕士研究生，主要研究方向：计算机视觉、深度学习、医学图像分割；杨文忠（1971—），男，河南南阳人，教授，博士，CCF会员，主要研究方向：网络空间安全、算法设计与分析、人工智能 email：ywz_xy@163.com；谭思翔（1996—），男，湖南卲阳人，硕士研究生，主要研究方向：深度学习、图像语义分割；周乐鑫（1996—），男，重庆人，硕士研究生，主要研究方向：自然语言处理、文本方面级情感分析；陈丹妮（1995—），女，重庆人，硕士研究生，主要研究方向：计算机视觉、深度学习、医学图像分割；
基金资助:
国家自然科学基金资助项目（U1603115）。

Fusing filter enhancement and reverse attention network for polyp segmentation

LIN Jianzhuang¹, YANG Wenzhong¹, TAN Sixiang¹, ZHOU Lexin², CHEN Danni¹

1.School of Information Science and Engineering， Xinjiang University， Urumqi Xinjiang 830046， China
2.School of Software， Xinjiang University， Urumqi Xinjiang 830091， China

Received:2021-11-09 Revised:2022-05-08 Online:2023-01-12
Contact: YANG Wenzhong， born in 1971， Ph. D.， professor. His research interests include cyberspace security， algorithm design and analysis， artificial intelligence.
About author:LIN Jianzhuang， born in 1995， M. S.candidate. His research interests include computer vision， deep learning， medical image segmentation；ZHOU Lexin， born in 1996， M. S. candidate. His research interests include natural language processing， text aspect-level sentiment analysis；CHEN Danni， born in 1995， M. S. candidate. Her research interests include computer vision， deep learning， medical image segmentation；
Supported by:
This work is partially supported by National Natural Science Foundation of China （U1603115）.

摘要/Abstract

摘要： 准确分割结肠镜获取图像中的息肉区域，可辅助医生诊断肠道疾病，但下采样过程中息肉区域结构信息缺失，现有方法存在过度分割和欠分割的问题。为解决以上问题，提出融合滤波增强和反转注意力分割网络（FFRNet）。首先，在跳级连接中加入了滤波增强模块（FEM），以增强下采样特征中局部病灶区域的结构信息；其次，通过聚合浅层特征来获取全局特征；最后，在上采样过程中采用多尺度反转注意力融合机制（MAFM），结合全局特征和上采样特征生成反转注意力权重，逐层挖掘特征中的息肉区域信息，引导网络建立目标区域与边界之间的关系，以提高模型对息肉区域分割的完整性。在Kvasir和CVC-ClinicDB数据集上，与不确定性增强上下文注意力网络（UACANet）相比，FFRNet的Dice相似系数（DSC）分别提升了0.22%和0.54%。实验结果表明，FFRNet能够有效提高息肉图像分割精度，同时具有较好的泛化能力。

关键词: 医学图像分割, U-Net, 息肉分割, 注意力, 卷积神经网络

Abstract: Accurate segmentation of the polyp region in the colonoscopic images can assist doctors in diagnosing intestinal diseases. However， the structure information of polyp region is missing in the down sampling process， and the existing methods have the problems of over segmentation and under segmentation.Aiming at the problems above， a Fusing Filter enhancement and Reverse attention segmentation Network （FFRNet） was proposed. Firstly， Filter Enhancement Module （FEM） was added to the skip-connection to enhance the structure information of local lesion region in the down-sampling features. Secondly， the global features were obtained by aggregating the shallow features. Finally， Multiscale reverse Attention Fusion Mechanism （MAFM） was adopted in the up-sampling process， by combining the global features and up-sampling features to generate the reverse attention weight， the polyp region information was mined in the features layer by layer， and the relationship between the target region and the boundary was established by the guidance network to improve the integrity of the model on polyp region segmentation. On Kvasir and CVC-ClinicDB datasets， compared with Uncertainty Augmented Context Attention Network （UACANet）， FFRNet has Dice Similarity Coefficient （DSC） increased by 0.22% and 0.54% respectively. Experimental results show that FFRNet can effectively improve the accuracy of polyp image segmentation and has good generalization ability.

Key words: medical image segmentation, U-Net, polyp segmentation, attention, Convolutional Neural Network (CNN)

中图分类号:

TP391.4

林荐壮, 杨文忠, 谭思翔, 周乐鑫, 陈丹妮. 融合滤波增强和反转注意力网络用于息肉分割[J]. 计算机应用, 2023, 43(1): 265-272.

LIN Jianzhuang, YANG Wenzhong, TAN Sixiang, ZHOU Lexin, CHEN Danni. Fusing filter enhancement and reverse attention network for polyp segmentation[J]. Journal of Computer Applications, 2023, 43(1): 265-272.

参考文献

1 FERLAY J， COLOMBET M， SOERJOMATARAM I， et al. Cancer statistics for the year 2020： an overview［J］. International Journal of Cancer， 2021， 149（4）： 778-789. 10.1002/ijc.33588
2 DONE J Z， FANG S H. Young-onset colorectal cancer： a review［J］. World Journal of Gastrointestinal Oncology， 2021， 13（8）： 856-866. 10.4251/wjgo.v13.i8.856
3 VARGA-SZEMES A， MUSCOGIURI G， SCHOEPF U J， et al. Clinical feasibility of a myocardial signal intensity threshold-based semi-automated cardiac magnetic resonance segmentation method［J］. European Radiology， 2016， 26（5）： 1503-1511. 10.1007/s00330-015-3952-4
4 GREVE D N， FISCHL B. Accurate and robust brain image alignment using boundary-based registration［J］. NeuroImage， 2009， 48（1）： 63-72. 10.1016/j.neuroimage.2009.06.060
5 曹彩霞，董洪伟，丁金仲. 基于区域生长的网格模型分割［J］. 计算机工程与应用， 2008， 44（31）：84-86. 10.3778/j.issn.1002-8331.2008.31.024 CAO C X， DONG H W， DING J Z. Mesh model segmentation based on region growth［J］. Computer Engineering and Applications， 2008， 44（31）：84-86. 10.3778/j.issn.1002-8331.2008.31.024
6 LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 3431-3440. 10.1109/cvpr.2015.7298965
7 RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
8 BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495. 10.1109/tpami.2016.2644615
9 HUANG G， LIU Z， MAATEN L van der， et al. Densely connected convolutional networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2261-2269. 10.1109/cvpr.2017.243
10 王啸，黄鉴，吉祥，等. 人工智能在结肠息肉检测与分类中的应用［J］. 南方医科大学学报， 2021，41（2）：310-313. 10.12122/j.issn.1673-4254.2021.02.22 WANG X， HUANG J， JI X， et al. Application of artificial intelligence for detection and classification of colon polyps［J］. Journal of Southern Medical University， 2021， 41（2）： 310-313. 10.12122/j.issn.1673-4254.2021.02.22
11 曹玉红，徐海，刘荪傲，等. 基于深度学习的医学影像分割研究综述［J］.计算机应用， 2021， 41（8）：2273-2287. 10.11772/j.issn.1001-9081.2020101638 CAO Y H， XU H， LIU S A， et al. Review of deep learning-based medical image segmentation［J］. Journal of Computer Applications， 2021， 41（8）： 2273-2287. 10.11772/j.issn.1001-9081.2020101638
12 ZHOU Z W， RAHMAN SIDDIQUEE M M， TAJBAKHSH N， et al. UNet++： a nested U-Net architecture for medical image segmentation［C］// Proceedings of the 2018 International Workshop on Deep Learning in Medical Image Analysis and the 2018 International Workshop on Multimodal Learning for Clinical Decision Support， LNCS 11045. Cham： Springer， 2018： 3-11.
13 FANG Y Q， CHEN C， YUAN Y X， et al. Selective feature aggregation network with area-boundary constraints for polyp segmentation［C］// Proceedings of the 2019 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11764. Cham： Springer， 2019： 302-310.
14 FAN D P， JI G P， ZHOU T， et al. PraNet： parallel reverse attention network for polyp segmentation［C］// Proceedings of the 2020 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 12266. Cham： Springer， 2020： 263-273.
15 WU Z， SU L， HUANG Q M. Cascaded partial decoder for fast and accurate salient object detection［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3902-3911. 10.1109/cvpr.2019.00403
16 KIM T， LEE H， KIM D. UACANet： uncertainty augmented context attention for polyp segmentation［C］// Proceedings of the 29th ACM International Conference on Multimedia. New York： ACM， 2021： 2167-2175. 10.1145/3474085.3475375
17 王雪，李占山，吕颖达. 基于多尺度感知和语义适配的医学图像分割算法［J］. 吉林大学学报（工学版）， 2022， 52（3）：640-647. WANG X， LI Z S， LYU Y D. Medical image segmentation based on multi-scale context-aware and semantic adaptor［J］. Journal of Jilin University （Engineering and Technology Edition）， 2022， 52（3）： 640-647.
18 时永刚，李祎，周治国，等. 基于阶梯结构的U-Net结肠息肉分割算法［J］. 电子与信息学报， 2022， 44（1）：39-47. 10.11999/JEIT210916 SHI Y G， LI Y， ZHOU Z G， et al. Polyp segmentation using stair-structured U-Net［J］. Journal of Electronics and Information Technology， 2022， 44（1）： 39-47. 10.11999/JEIT210916
19 任莉莉，边璇，王光磊，等. GLIA-NET：基于深度学习的息肉分割网络［J/OL］. 计算机工程. （2022-02-26）［2022-03-27］.https：//kns.cnki.net/kcms/detail/detail.aspx？doi=10.19678/j.issn.1000-3428.0062860. REN L L， BIAN X， WANG G L， et al. GLIA-NET： polyp segmentation network based on deep learning［J/OL］. Computer Engineering. （2022-02-26）［2022-03-27］.https：//kns.cnki.net/kcms/detail/detail.aspx？doi=10.19678/j.issn.1000-3428.0062860.
20 GAO S H， CHENG M M， ZHAO K， et al. Res2Net： a new multi-scale backbone architecture［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（2）： 652-662. 10.1109/tpami.2019.2938758
21 LIU Z M， GAO G Y， SUN L， et al. IPG-Net： image pyramid guidance network for small object detection［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 4422-4430. 10.1109/cvprw50498.2020.00521
22 YIN P S， YUAN R， CHENG Y M， et al. Deep guidance network for biomedical image segmentation［J］. IEEE Access， 2020， 8： 116106-116116. 10.1109/access.2020.3002835
23 CHEN S H， TAN X L， WANG B， et al. Reverse attention for salient object detection［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11213. Cham： Springer， 2018： 236-252.
24 WEI Y C， FENG J S， LIANG X D， et al. Object region mining with adversarial erasing： a simple classification to semantic segmentation approach［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6488-6496. 10.1109/cvpr.2017.687
25 WANG Q L， WU B G， ZHU P F， et al. ECA-Net： efficient channel attention for deep convolutional neural networks［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11531-11539. 10.1109/cvpr42600.2020.01155
26 LIU J， ZHANG W J， TANG Y T， et al. Residual feature aggregation network for image super-resolution［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 2356-2365. 10.1109/cvpr42600.2020.00243
27 LIU S T， HUANG D. Receptive field block net for accurate and fast object detection［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11215. Cham： Springer， 2018： 404-419.
28 WEI J， WANG S H， HUANG Q M. F3Net： fusion， feedback and focus for salient object detection［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 12321-12328. 10.1609/aaai.v34i07.6916
29 QIN X B， ZHANG Z C， HUANG C Y， et al. BASNet： boundary-aware salient object detection［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 7471-7481. 10.1109/cvpr.2019.00766
30 JHA D， SMEDSRUD P H， RIEGLER M A， et al. Kvasir-SEG： a segmented polyp dataset［C］// Proceedings of the 2020 International Conference on Multimedia Modeling， LNCS 11962. Cham： Springer， 2020： 451-462.
31 BERNAL J， SáNCHEZ F J， FERNáNDEZ-ESPARRACH G， et al. WM-DOVA maps for accurate polyp highlighting in colonoscopy： validation vs. saliency maps from physicians［J］. Computerized Medical Imaging and Graphics， 2015， 43： 99-111. 10.1016/j.compmedimag.2015.02.007
32 TAJBAKHSH N， GURUDU S R， LIANG J M. Automated polyp detection in colonoscopy videos using shape and context information［J］. IEEE Transactions on Medical Imaging， 2016， 35（2）： 630-644. 10.1109/tmi.2015.2487997
33 VáZQUEZ D， BERNAL J， SáNCHEZ F J， et al. A benchmark for endoluminal scene segmentation of colonoscopy images［J］. Journal of Healthcare Engineering， 2017， 2017： No.4037190. 10.1155/2017/4037190
34 SILVA J， HISTACE A， ROMAIN O， et al. Toward embedded detection of polyps in WCE images for early diagnosis of colorectal cancer［J］. International Journal of Computer Assisted Radiology and Surgery， 2014， 9（2）： 283-293. 10.1007/s11548-013-0926-3
35 FAN D-P， CHENG M M， LIU Y， et al. Structure-measure： a new way to evaluate foreground maps［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 4558-4567. 10.1109/iccv.2017.487
36 FAN D P， GONG C， CAO Y， et al. Enhanced-alignment measure for binary foreground map evaluation［C］// Proceedings of the 27th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2018： 698-704. 10.24963/ijcai.2018/97
37 MARGOLIN R， ZELNIK-MANOR L， TAL A. How to evaluate foreground maps［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 248-255. 10.1109/cvpr.2014.39

[1]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[2]	任烈弘, 黄铝文, 田旭, 段飞. 基于DFT的频率敏感双分支Transformer多变量长时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2739-2746.
[3]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[4]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[5]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[6]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[7]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[8]	杨航, 李汪根, 张根生, 王志格, 开新. 基于图神经网络的多层信息交互融合算法用于会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2719-2725.
[9]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[10]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[11]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[12]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[13]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[14]	陈彤, 杨丰玉, 熊宇, 严荭, 邱福星. 基于多尺度频率通道注意力融合的声纹库构建方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2407-2413.
[15]	汪才钦, 周渝皓, 张顺香, 王琰慧, 王小龙. 基于语境增强的新能源汽车投诉文本方面-观点对抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2430-2436.

融合滤波增强和反转注意力网络用于息肉分割

Fusing filter enhancement and reverse attention network for polyp segmentation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics