结合注意力和多路径融合的实时肺结节检测算法

doi:10.11772/j.issn.1001-9081.2023040424

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (3): 945-952.DOI: 10.11772/j.issn.1001-9081.2023040424

• 多媒体计算与计算机仿真 • 上一篇下一篇

结合注意力和多路径融合的实时肺结节检测算法

赵奎¹^,², 仇慧琪¹^,²(), 李旭³, 徐知非⁴

^1.中国科学院沈阳计算技术研究所, 沈阳 110168
^2.中国科学院大学, 北京 100049
^3.未来人工智能科创发展研究院(北京), 北京 100025
^4.香港中文大学(深圳) 理工学院, 广东深圳 518172

收稿日期:2023-04-17 修回日期:2023-07-14 接受日期:2023-07-14 发布日期:2023-12-04 出版日期:2024-03-10
通讯作者: 仇慧琪
作者简介:赵奎（1974—），男，辽宁沈阳人，研究员，硕士，主要研究方向：人工智能、大数据分析、知识图谱
李旭（1996—），男，安徽安庆人，工程师，主要研究方向：计算机视觉、医疗人工智能
徐知非（2000—），男，山东临沂人，硕士研究生，主要研究方向：模式识别。

Real-time pulmonary nodule detection algorithm combining attention and multipath fusion

Kui ZHAO¹^,², Huiqi QIU¹^,²(), Xu LI³, Zhifei XU⁴

^1.Shenyang Institute of Computing Technology，Chinese Academy of Sciences，Shenyang Liaoning 110168，China
^2.University of Chinese Academy of Sciences，Beijing 100049，China
^3.Institute of Future Artificial Intelligence Technology and Innovative Applications （Beijing），Beijing 100025，China
^4.School of Science and Engineering，The Chinese University of Hongkong，Shenzhen，Shenzhen Guangdong 518172，China

Received:2023-04-17 Revised:2023-07-14 Accepted:2023-07-14 Online:2023-12-04 Published:2024-03-10
Contact: Huiqi QIU
About author:ZHAO Kui， born in 1974， M. S.， research fellow. His research interests include artificial intelligence， big data analytics， knowledge graph.
LI Xu， born in 1996， engineer. His research interests include computer vision， medical artificial intelligence.
XU Zhifei， born in 2000， M. S. candidate. His research interests include pattern recognition.

摘要/Abstract

摘要：

现有单阶段目标检测算法在肺结节检测中结节检出不敏感，卷积神经网络（CNN）在特征提取时多次上采样导致微小结节特征提取困难、检测效果差，并且现存肺结节检测算法模型复杂，不利于实际应用部署落地。针对上述问题，提出一种结合注意力机制和多路径融合的实时肺结节检测算法，并在此基础上改进上采样算法，提升肺部结节的检测精度和模型推理速度，且模型的权重小容易部署。首先，在特征提取的主干网络部分融合通道和空间的混合注意力机制；其次，改进采样算法，提高生成特征图的质量；最后在加强特征提取网络部分，在不同路径之间建立通道，实现深层和浅层特征的融合，将不同尺度的语义和位置信息融合。在LUNA16数据集的实验结果表明，相较于原始YOLOv5s算法，所提算法的精确率、敏感度和平均精度分别提升9.5、6.9和8.7个百分点，帧率达到131.6 frame/s，模型权重文件仅有14.2 MB，表明了所提算法可以实时检测肺结节，并且精度远高于YOLOv3和YOLOv8等现有单阶段检测算法。

关键词: 深度学习, 肺结节检测, 注意力机制, 上采样算法, 双向特征金字塔

Abstract:

Existing single-stage target detection algorithms are insensitive to nodule detection in lung nodule detection， multiple up-samplings during feature extraction by Convolutional Neural Network （CNN） has difficult feature extraction and poor detection effect， and the existing pulmonary nodule detection algorithm models are complex and not conductive to practical application employment and implementation. To address the above problems， a real-time pulmonary nodule detection algorithm combining attention mechanism and multipath fusion was proposed， based on which the up-sampling algorithm was improved to effectively increase the detection accuracy of lung nodules and speed of model inference， the model size was small and easy to deploy. Firstly， the hybrid attention mechanism of channel and space was fused in the backbone network part of feature extraction. Secondly， the sampling algorithm was improved to enhance the quality of generated feature maps. Finally， the channels were established between different paths in the enhanced feature extraction network part to achieve the fusion of deep and shallow features， so the semantic and location information at different scales was fused. Experimental results on LUNA16 dataset show that， compared to the original YOLOv5s algorithm， the proposed algorithm achieves an improvement of 9.5， 6.9， and 8.7 percentage points in precision， recall， and average precision， respectively， with a frame rate of 131.6 frames/s， and a model weight file of only 14.2 MB， demonstrating that the proposed algorithm can detect lung nodules in real time with much higher accuracy than existing single-stage detection algorithms such as YOLOv3 and YOLOv8.

Key words: deep learning, pulmonary nodule detection, attention mechanism, up-sampling algorithm, bi-directional feature pyramid

中图分类号:

TP391.4

赵奎, 仇慧琪, 李旭, 徐知非. 结合注意力和多路径融合的实时肺结节检测算法[J]. 计算机应用, 2024, 44(3): 945-952.

Kui ZHAO, Huiqi QIU, Xu LI, Zhifei XU. Real-time pulmonary nodule detection algorithm combining attention and multipath fusion[J]. Journal of Computer Applications, 2024, 44(3): 945-952.

图/表 9

参考文献 22

1	KRISHNAMURTHY S， NARASIMHAN G， RENGASAMY U. An automatic computerized model for cancerous lung nodule detection from computed tomography images with reduced false positives ［C］// Proceedings of the 2016 International Conference on Recent Trends in Image Processing and Pattern Recognition. Cham： Springer， 2016：343-355. 10.1007/978-981-10-4859-3_31
2	潘晓英，魏德，赵逸喆.基于Mask R-CNN和上下文卷积神经网络的肺结节检测［J］.吉林大学学报（工学版），2022，52（10）：2419-2427.
	PAN X Y， WEI D， ZHAO Y Z. Lung nodule detection based on Mask R-CNN and contextual convolutional neural network ［J］. Journal of Jilin University （Engineering Edition）， 2022， 52（10）： 2419-2427.
3	LI C， ZHU G， WU X， et al. False-positive reduction on lung nodules detection in chest radiographs by ensemble of convolutional neural networks ［J］. IEEE Access， 2018， 6： 16060-16067. 10.1109/access.2018.2817023
4	肖毅，谢珺，谢刚，等.融合注意力特征的多任务肺结节检测和分割［J］.计算机工程与设计，2022，43（9）：2525-2532.
	XIAO Y， XIE J， XIE G， et al. Multi-task lung nodule detection and segmentation fused with attentional features ［J］. Computer Engineering and Design， 2022， 43（9）： 2525-2532.
5	LI J， WANG K， YANG D， et al. Deepnodule： multi-task learning of segmentation bootstrap for pulmonary nodule detection ［C］// Proceedings of the 2021 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2021： 1215-1219. 10.1109/icassp39728.2021.9413825
6	WINKELS M， COHEN T S. 3D G-CNNs for pulmonary nodule detection ［EB/OL］. （2018-04-12）［2023-02-24］. . 10.1016/j.media.2019.03.010
7	GIRSHICK R. Fast R-CNN ［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1440-1448. 10.1109/iccv.2015.169
8	HE K， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE，2017： 2980-2988. 10.1109/iccv.2017.322
9	SU Y， LI D， CHEN X. Lung nodule detection based on faster R-CNN framework ［J］. Computer Methods and Programs in Biomedicine， 2021， 200： 105866. 10.1016/j.cmpb.2020.105866
10	秦源源，张鸿.基于注意力特征金字塔网络的肺结节检测算法［J］. 计算机应用， 2023， 43（7）： 2311-2318. 10.11772/j.issn.1001-9081.2022060924
	QIN Y Y， ZHANG H. Pulmonary nodule detection algorithm based on attention feature pyramid networks ［J］. Journal of Computer Applications， 2023， 43（7）： 2311-2318. 10.11772/j.issn.1001-9081.2022060924
11	REDMON J， FARHADI A. YOLOv3： an incremental improvement ［EB/OL］. （2018-04-08）［2023-02-24］. . 10.1109/cvpr.2017.690
12	WANG C-Y， BOCHKOVSKIY A， LIAO H-Y M. YOLOv7： trainable bag-of-freebies sets new state-of-the-art for real-time object detectors ［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 7464-7475. 10.1109/cvpr52729.2023.00721
13	李阳，高轼奇.基于数据增强及注意力机制的肺结节检测系统［J］.北京邮电大学学报，2022，45（4）：25-30. 10.13190/j.jbupt.2021-189
	LI Y， GAO S Q. Lung nodule detection system based on data enhancement and attention mechanism ［J］. Journal of Beijing University of Posts and Telecommunications， 2022， 45（4）： 25-30. 10.13190/j.jbupt.2021-189
14	ZHU X， WANG X， SHI Y， et al. Channel-wise attention mechanism in the 3D convolutional network for lung nodule detection ［J］. Electronics， 2022， 11（10）： 1600. 10.3390/electronics11101600
15	LIU J， LI J， XUE F， et al. Dense attention module for accurate pulmonary nodule detection ［C］// Proceedings of the 2021 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2021： 1220-1224. 10.1109/icassp39728.2021.9413936
16	ZHU X， CHENG D， ZHANG Z， et al. An empirical study of spatial attention mechanisms in deep networks ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision. Piscataway： IEEE， 2019： 6687-6696. 10.1109/iccv.2019.00679
17	WOO S， PARK J， LEE J-Y， et al. CBAM： convolutional block attention module ［C］// Proceedings of the 15th European Conference on Computer Vision. Cham： Springer， 2018： 3-19. 10.1007/978-3-030-01234-2_1
18	JIANG H， SHEN F， GAO F， et al. Learning efficient， explainable and discriminative representations for pulmonary nodules classification ［J］. Pattern Recognition， 2021， 113： 107825. 10.1016/j.patcog.2021.107825
19	GUO N， BAI Z. Multi-scale pulmonary nodule detection by fusion of cascade R-CNN and FPN ［C］// Proceedings of the 2021 International Conference on Computer Communication and Artificial Intelligence. Piscataway： IEEE， 2021： 15-19. 10.1109/ccai50917.2021.9447531
20	ANNAVARAPU C S R， PARISAPOGU S A B， KEETHA N V， et al. A Bi-FPN-based encoder — decoder model for lung nodule image segmentation ［J］. Diagnostics， 2023， 13（8）： 1406. 10.3390/diagnostics13081406
21	BOCHKOYSKIY A， WANG C-Y， LIAO H-Y M. YOLOv4： optimal speed and accuracy of object detection ［EB/OL］. （2020-04-23）［2023-07-11］. .
22	GE Z， LIU S， WANG F， et al. YOLOX： exceeding YOLO series in 2021 ［EB/OL］. （2021-08-06）［2023-07-11］. .

C3CBAM	双线性插值	BiFPN	Precision	Recall	AP
			0.792	0.776	0.798
√			0.840	0.802	0.824
	√		0.803	0.762	0.786
		√	0.851	0.802	0.833
√	√		0.857	0.802	0.843
	√	√	0.831	0.814	0.846
√		√	0.857	0.762	0.825
√	√	√	0.889	0.824	0.855

C3CBAM	双线性插值	BiFPN	Precision	Recall	AP
			0.792	0.776	0.798
√			0.840	0.802	0.824
	√		0.803	0.762	0.786
		√	0.851	0.802	0.833
√	√		0.857	0.802	0.843
	√	√	0.831	0.814	0.846
√		√	0.857	0.762	0.825
√	√	√	0.889	0.824	0.855

算法	Precision	Recall	AP	权重文件大小/MB	帧率 /（frame·s^-1）
本文算法	0.893	0.855	0.876	14.2	131.6
YOLOv3-tiny^［11］	0.786	0.718	0.767	16.6	104.2
YOLOv3	0.767	0.727	0.758	117.8	63.7
YOLOv3-spp	0.827	0.669	0.748	119.8	57.5
YOLOv4^［21］	0.815	0.724	0.779	137.6	54.3
YOLOv5s	0.798	0.786	0.789	14.0	125.0
YOLOv5x	0.712	0.727	0.723	165.1	35.9
YOLOv7^［12］	0.672	0.711	0.675	72.1	60.9
YOLOv7x	0.313	0.415	0.276	136.5	42.9
YOLOv8n	0.764	0.706	0.759	5.9	250.0
YOLOv8s	0.732	0.736	0.734	21.5	175.4
YOLOv8m	0.744	0.672	0.708	49.6	66.7
YOLOv8l	0.718	0.756	0.737	83.6	43.3
YOLOv8x	0.708	0.691	0.688	130.4	104.1
YOLOX-s^［22］	0.777	0.678	0.685	68.5	46.9
YOLOX-m	0.780	0.753	0.753	68.5	46.0
YOLOX-l	0.782	0.789	0.750	414.2	45.8
YOLOX-nano	0.695	0.664	0.685	68.5	46.8
Faster R-CNN^［7］	0.831	0.805	0.824	157.6	16.4

算法	Precision	Recall	AP	权重文件大小/MB	帧率 /（frame·s^-1）
本文算法	0.893	0.855	0.876	14.2	131.6
YOLOv3-tiny^［11］	0.786	0.718	0.767	16.6	104.2
YOLOv3	0.767	0.727	0.758	117.8	63.7
YOLOv3-spp	0.827	0.669	0.748	119.8	57.5
YOLOv4^［21］	0.815	0.724	0.779	137.6	54.3
YOLOv5s	0.798	0.786	0.789	14.0	125.0
YOLOv5x	0.712	0.727	0.723	165.1	35.9
YOLOv7^［12］	0.672	0.711	0.675	72.1	60.9
YOLOv7x	0.313	0.415	0.276	136.5	42.9
YOLOv8n	0.764	0.706	0.759	5.9	250.0
YOLOv8s	0.732	0.736	0.734	21.5	175.4
YOLOv8m	0.744	0.672	0.708	49.6	66.7
YOLOv8l	0.718	0.756	0.737	83.6	43.3
YOLOv8x	0.708	0.691	0.688	130.4	104.1
YOLOX-s^［22］	0.777	0.678	0.685	68.5	46.9
YOLOX-m	0.780	0.753	0.753	68.5	46.0
YOLOX-l	0.782	0.789	0.750	414.2	45.8
YOLOX-nano	0.695	0.664	0.685	68.5	46.8
Faster R-CNN^［7］	0.831	0.805	0.824	157.6	16.4

[1]	袁泉, 陈昌平, 陈泽, 詹林峰. 基于BERT的两次注意力机制远程监督关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1080-1085.
[2]	王铂越, 李英祥, 钟剑丹. 基于改进Res-UNet的昼夜地基云图分割网络[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1310-1316.
[3]	万泽轩, 谢春丽, 吕泉润, 梁瑶. 基于依赖增强的分层抽象语法树的代码克隆检测[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1259-1268.
[4]	唐睿, 岳士博, 张睿智, 刘川, 庞川林. UAV协助下非正交多址接入使能的数据采集系统中能效优化机制[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1209-1218.
[5]	尤昕源, 王恒. 基于门控膨胀卷积循环网络的单声道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1317-1324.
[6]	黄荣, 宋俊杰, 周树波, 刘浩. 基于自监督视觉Transformer的图像美学质量评价方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1269-1276.
[7]	孙祥杰, 魏强, 王奕森, 杜江. 代码相似性检测技术综述[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1248-1258.
[8]	陈天华, 朱家煊, 印杰. 基于注意力机制的鸟类识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1114-1120.
[9]	许立君, 黎辉, 刘祖阳, 陈侃松, 马为駽. 基于3D‑Ghost卷积神经网络的脑胶质瘤MRI图像分割算法3D‑GA‑Unet[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1294-1302.
[10]	郭洁, 林佳瑜, 梁祖红, 罗孝波, 孙海涛. 基于知识感知和跨层次对比学习的推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1121-1127.
[11]	张鹏飞, 韩李涛, 冯恒健, 李洪梅. 基于注意力机制和全局特征优化的点云语义分割[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1086-1092.
[12]	肖斌, 甘昀, 汪敏, 张兴鹏, 王照星. 基于端口注意力与通道空间注意力的网络异常流量检测[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1027-1034.
[13]	杨先凤, 汤依磊, 李自强. 基于交替注意力机制和图卷积网络的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1058-1064.
[14]	王海涵, 朱焱. 融合反讽机制的攻击性言论检测[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1065-1071.
[15]	李雨秋, 侯利萍, 薛健, 吕科, 王泳. 基于内容解译的遥感图像推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 722-731.

结合注意力和多路径融合的实时肺结节检测算法

Real-time pulmonary nodule detection algorithm combining attention and multipath fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 22

相关文章 15

编辑推荐

Metrics