改进的Libra区域卷积神经网络的脑动脉狭窄影像学检测算法

doi:10.11772/j.issn.1001-9081.2021071206

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (9): 2909-2916.DOI: 10.11772/j.issn.1001-9081.2021071206

• 多媒体计算与计算机仿真 • 上一篇下一篇

改进的Libra区域卷积神经网络的脑动脉狭窄影像学检测算法

刘汉卿¹, 康晓东¹(), 张福青², 赵秀圆², 杨靖怡¹, 王笑天¹, 李梦凡³

^1.天津医科大学医学影像学院, 天津 300202
^2.天津医科大学第二附属医院, 天津 300211
^3.西交利物浦大学智能工程学院, 江苏苏州 215123

收稿日期:2021-07-12 修回日期:2021-09-15 接受日期:2021-09-22 发布日期:2022-09-19 出版日期:2022-09-10
通讯作者: 康晓东
作者简介:刘汉卿（1997—），男，湖南衡阳人，硕士研究生，主要研究方向：医学图像处理；
张福青（1977—），男，天津人，副主任医师，硕士，主要研究方向：脑血管疾病的预防与治疗；
赵秀圆（1993—），女，天津人，医师，硕士，主要研究方向：脑血管疾病的预防与治疗；
杨靖怡（1999—），女，天津人，主要研究方向：医学图像处理；
王笑天（1998—），男，甘肃兰州人，主要研究方向：医学图像处理；
李梦凡（1996—），男，陕西西安人，硕士研究生，主要研究方向：计算机视觉、计算机辅助医学成像。
基金资助:
京津冀协同创新项目(17YEXTZC00020)

Image detection algorithm of cerebral arterial stenosis by improved Libra region-convolutional neural network

Hanqing LIU¹, Xiaodong KANG¹(), Fuqing ZHANG², Xiuyuan ZHAO², Jingyi YANG¹, Xiaotian WANG¹, Mengfan LI³

^1.School of Medical Imaging，Tianjin Medical University，Tianjin 300202，China
^2.The Second Affiliated Hospital，Tianjin Medical University，Tianjin 300211，China
^3.School of Advanced Technology，Xi’an Jiaotong?Liverpool University，Suzhou Jiangsu 215123，China

Received:2021-07-12 Revised:2021-09-15 Accepted:2021-09-22 Online:2022-09-19 Published:2022-09-10
Contact: Xiaodong KANG
About author:LIU Hanqing， born in 1997， M. S. candidate. His research interests include medical image processing.
ZHANG Fuqing， born in 1977， M. S.， associate professor of medicine. His research interests include prevention and treatment of cerebrovascular diseases.
YANG Jingyi， born in 1999. Her research interests include medical image processing.
WANG Xiaotian， born in 1998. His research interests include medical image processing.
LI Mengfan， born in 1996， M. S. candidate. His research interests include computer vision， computer-aided medical imaging.
Supported by:
Beijing-Tianjin-Hebei Collaborative Innovation Project(17YEXTZC00020)

摘要/Abstract

摘要：

针对断层面上血管的多形性和检测过程中出现的采样不均衡的问题，提出一种改进的Libra区域卷积神经网络（R-CNN）的脑动脉狭窄影像学检测算法，用于检测计算机断层扫描血管造影（CTA）图像的颈内动脉和椎动脉狭窄。首先，在目标检测网络Libra R-CNN中以ResNet50为骨干网络，并分别在骨干网络的3、4、5阶段引入可变卷积网络（DCN），通过学习偏移量提取血管在不同断层面的形态特征；然后，将从骨干网络中提取的特征图输入至引入非局部神经网络（Non-local NN）的平衡特征金字塔（BFP）中进行更深度的特征融合；最后，将融合后的特征图输入至级联检测器，并通过提高交并比（IoU）阈值优化最终检测结果。实验结果表明，改进的Libra R-CNN检测算法相比Libra R-CNN算法，在脑动脉CTA数据集中平均准确率（AP）、AP₅₀、AP₇₅和AP_S分别提升了4.3、1.3、6.9和4.0个百分点；在公开的结肠息肉CT数据集中，AP、AP₅₀、AP₇₅和AP_S分别提升了6.6、3.6、13.0和6.4个百分点。通过在Libra R-CNN的骨干网络中加入DCN、Non-local NN和级联检测器，进一步融合特征从而学习脑动脉血管结构的语义信息，使得狭窄区域检测结果更精确，且改进算法在不同的检测任务中具有泛化能力。

关键词: Libra区域卷积神经网络, 可变卷积网络, 非局部神经网络, 级联检测器, 脑动脉狭窄

Abstract:

In view of the problems of vascular pleomorphism on transverse sections and sampling imbalance in the process of detection， an improved Libra Region-Convolutional Neural Network （R-CNN） cerebral arterial stenosis detection algorithm was proposed to detect internal carotid artery and vertebral artery stenosis in Computed Tomography Angiography （CTA） images. Firstly， ResNet50 was used as the backbone network in Libra R-CNN， Deformable Convolutional Network （DCN） was introduced into the 3， 4， 5 stages of backbone network， and the offsets were learnt to extract the morphological features of blood vessels on different transverse sections. Secondly， the feature maps extracted from the backbone network were input into Balanced Feature Pyramid （BFP） with the Non-local Neural Network （Non-local NN） introduced for deeper feature fusion. Finally， the fused feature maps were input to the cascade detector， and the final detection result was optimized by increasing the Intersection-over-Union （IoU） threshold. Experimental results show that compared with Libra R-CNN algorithm， the improved Libra R-CNN detection algorithm increases 4.3， 1.3， 6.9 and 4.0 percentage points respectively in AP， AP₅₀， AP₇₅ and AP_S， respectively_{on the cerebral artery CTA dataset； on the public CT dataset of colon polyps， the improved Libra R-CNN detection algorithm has the AP， AP₅₀， AP₇₅ and AP_S increased by 6.6， 3.6， 13.0 and 6.4 percentage points， respectively. By adding DCN， Non-local NN and cascade detector to the backbone network of Libra R-CNN algorithm， the features are further fused to learn the semantic information of cerebral artery structure and make the results of narrow area detection more accurate， and the improved algorithm has the ability of generalization in different detection tasks.}

Key words: Libra Region-Convolutional Neural Network (R-CNN), Deformable Convolutional Network (DCN), Non-local Neural Network (Non-local NN), cascade detector, cerebral artery stenosis

中图分类号:

TP391.41

刘汉卿, 康晓东, 张福青, 赵秀圆, 杨靖怡, 王笑天, 李梦凡. 改进的Libra区域卷积神经网络的脑动脉狭窄影像学检测算法[J]. 计算机应用, 2022, 42(9): 2909-2916.

Hanqing LIU, Xiaodong KANG, Fuqing ZHANG, Xiuyuan ZHAO, Jingyi YANG, Xiaotian WANG, Mengfan LI. Image detection algorithm of cerebral arterial stenosis by improved Libra region-convolutional neural network[J]. Journal of Computer Applications, 2022, 42(9): 2909-2916.

图/表 13

图1 平衡特征金字塔结构

Fig.1 Structure of balanced feature pyramid

图2 可变卷积网络结构

Fig.2 Structure of deformable convolutional network

图3 非局部神经网络结构

Fig.3 Structure of non-local neural network

图4 级联检测器结构

Fig.4 Structure of cascade detector

图5 改进的Libra R-CNN算法结构

Fig.5 Structure of improved Libra R-CNN algorithm

表1 实验1的对比结果

Tab.1 Comparison results of experiment 1

算法	Backbone	FPS	AP/%	AP₅₀/%	AP₇₅/%	AP_S/%
Faster R-CNN^［9］	ResNet50	37.7	47.3	96.2	31.3	47.3
YOLOv3^［25］	ResNet50	56.2	43.9	95.9	24.6	43.9
Libra R-CNN^［21］	ResNet50	33.7	47.6	96.0	35.8	47.6
Cascade R-CNN^［24］	ResNet50	26.1	49.8	94.8	41.8	49.8
本文算法	ResNet50	22.9	51.9	97.3	42.7	51.6

表2 实验1的消融结果

Tab.2 Ablation results of experiment 1

算法	FPS	AP/%	AP₅₀/%	AP₇₅/%	AP_S/%
Libra R-CNN	33.7	47.6	96.0	35.8	47.6
Libra R-CNN+DCN	32.0	47.8	95.2	36.8	47.9
Libra R-CNN+DCN+Cascade	22.7	50.5	95.9	42.8	50.8
Libra R-CNN+DCN+Cascade+Non-Local NN	22.9	51.9	97.3	42.7	51.6

图6 几种方法的训练步数与平均准确率结果对比

Fig. 6 Results comparison of training steps and average accuracy among several methods

图7 几种方法的预测速度与准确率结果对比

Fig.7 Results comparison of prediction speed and average precision among several methods

图8 实验1中不同算法的检测效果对比

Fig.8 Detection effects comparison of different algorithms in experiment 1

表3 实验2的对比结果

Tab.3 Comparison results of experiment 2

算法	Backbone	FPS	AP/%	AP₅₀/%	AP₇₅/%	AP_S/%
Faster R-CNN^［9］	ResNet50	36.7	52.0	94.1	54.0	53.8
YOLOv3^［25］	ResNet50	57.4	47.2	92.2	47.0	37.8
Libra R-CNN^［21］	ResNet50	33.2	53.2	95.7	53.9	53.4
Cascade R-CNN^［24］	ResNet50	24.8	56.1	91.0	63.4	56.1
本文算法	ResNet50	22.3	59.8	99.3	66.9	59.8

表4 实验2的消融结果

Tab.4 Ablation results of experiment 2

算法	FPS	AP/%	AP₅₀/%	AP₇₅/%	AP_S/%
Libra R-CNN	33.2	53.2	95.7	53.9	53.4
Libra R-CNN+DCN	32.1	53.9	91.4	55.0	53.3
Libra R-CNN+DCN+Cascade	23.0	55.6	92.5	58.2	55.6
Libra R-CNN+DCN+ Cascade+Non-Local	22.3	59.8	99.3	66.9	59.8

图9 实验2中不同算法的检测效果对比

Fig.9 Detection effects comparison of different algorithms in experiment 2

参考文献 25

1	HSIEH Y Z， LUO Y C， PAN C， et al. Cerebral small vessel disease biomarkers detection on MRI-sensor-based image and deep learning［J］. Sensors， 2019， 19（11）： No.2573. 10.3390/s19112573
2	BASH S， VILLABLANCA J P， JAHAN R， et al. Intracranial vascular stenosis and occlusive disease： evaluation with CT angiography， MR angiography， and digital subtraction angiography［J］. American Journal of Neuroradiology， 2005， 26（5）： 1012-1021.
3	WADDLE S L， JUTTUKONDA M R， LANTS S K， et al. Classifying intracranial stenosis disease severity from functional MRI data using machine learning［J］. Journal of Cerebral Blood Flow and Metabolism， 2020， 40（4）： 705-719. 10.1177/0271678x19848098
4	HSU K C， LIN C H， JOHNSON K R， et al. Autodetect extracranial and intracranial artery stenosis by machine learning using ultrasound［J］. Computers in Biology and Medicine， 2020， 116： No.103569. 10.1016/j.compbiomed.2019.103569
5	ARAKI T， JAIN P K， SURI H S， et al. Stroke risk stratification and its validation using ultrasonic echolucent carotid wall plaque morphology： a machine learning paradigm［J］. Computers in Biology and Medicine， 2017， 80：77-96. 10.1016/j.compbiomed.2016.11.011
6	SABA L， JAIN P K， SURI H S， et al. Plaque tissue morphology-based stroke risk stratification using carotid ultrasound： a polling-based PCA learning paradigm［J］. Journal of Medical Systems， 2017， 41（6）： No.98. 10.1007/s10916-017-0745-0
7	HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916. 10.1109/tpami.2015.2389824
8	GIRSHICK R. Fast R-CNN［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1440-1448. 10.1109/iccv.2015.169
9	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015：91-99.
10	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944. 10.1109/cvpr.2017.106
11	JOO B， AHN S S， YOON P H， et al. A deep learning algorithm may automate intracranial aneurysm detection on MR angiography with high diagnostic performance［J］. European Radiology， 2020， 30（11）：5785-5793. 10.1007/s00330-020-06966-8
12	SMISTAD E， LØVSTAKKEN L. Vessel detection in ultrasound images using deep convolutional neural networks［C］// Proceedings of the 2016 International Workshop on Deep Learning in Medical Image Analysis/2016 International Workshop on Large-Scale Annotation of Biomedical Data and Expert Label Synthesis， LNCS 10008. Cham： Springer， 2016： 30-38.
13	STIB M T， VASQUEZ J， DONG M P， et al. Detecting large vessel occlusion at multiphase CT angiography by using a deep convolutional neural network［J］. Radiology， 2020， 297（3）： 640-649. 10.1148/radiol.2020200334
14	DE MAN Q， HANEDA E， CLAUS B， et al. A two-dimensional feasibility study of deep learning-based feature detection and characterization directly from CT sinograms［J］. Medical Physics， 2019， 46（12）： e790-e800. 10.1002/mp.13640
15	胡涛，苏佳斌，杨恒，等. 基于注意力机制的CNN和GRU烟雾病检测方法研究［J］. 航天医学与医学工程， 2021， 34（1）：68-74. 10.16289/j.cnki.1002-0837.2021.01.011
	HU T， SU J B， YANG H， et al. Research on detection of moyamoya disease by CNN and GRU based on attention mechanism［J］. Space Medicine and Medical Engineering， 2021， 34（1）：68-74. 10.16289/j.cnki.1002-0837.2021.01.011
16	DAI X L， HUANG L X， QIAN Y， et al. Deep learning for automated cerebral aneurysm detection on computed tomography images［J］. International Journal of Computer Assisted Radiology and Surgery， 2020， 15（4）： 715-723. 10.1007/s11548-020-02121-2
17	YANG J H， XIE M F， HU C P， et al. Deep learning for detecting cerebral aneurysms with CT angiography［J］. Radiology， 2021， 298（1）： 155-163. 10.1148/radiol.2020192154
18	SHINOHARA Y， TAKAHASHI N， LEE Y， et al. Development of a deep learning model to identify hyperdense MCA sign in patients with acute ischemic stroke［J］. Japanese Journal of Radiology， 2020， 38（2）： 112-117. 10.1007/s11604-019-00894-4
19	卫渊，朱光宇，颜格，等. 基于卷积神经网络的颅内动脉瘤CTA影像判别［J］. 医用生物力学， 2019， 34（S1）：147.
	WEI Y， ZHU G Y， YAN G， et al. CTA image discrimination of intracranial aneurysm based on convolutional neural network［J］. Journal of Medical Biomechanics， 2019， 34（S1）： 147.
20	秦志光，陈浩，丁熠，等. 基于多模态卷积神经网络的脑血管提取方法研究［J］. 电子科技大学学报， 2016， 45（4）：573-581. 10.3969/j.issn.1001-0548.2016.04.010
	QIN Z G， CHEN H， DING Y， et al. Research on brain vessel extraction via multi-modal convolutional neural networks［J］. Journal of University of Electronic Science and Technology of China， 2016， 45（4）： 573-581. 10.3969/j.issn.1001-0548.2016.04.010
21	PANG J M， CHEN K， SHI J P， et al. Libra R-CNN： towards balanced learning for object detection［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 821-830. 10.1109/cvpr.2019.00091
22	WANG X L， GIRSHICK R， GUPTA A， et al. Non-local neural networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7794-7803. 10.1109/cvpr.2018.00813
23	SHOKRI M， HARATI A， TABA K. Salient object detection in video using deep non-local neural networks［J］. Journal of Visual Communication and Image Representation， 2020， 68： No.102769. 10.1016/j.jvcir.2020.102769
24	CAI Z W， VASCONCELOS N. Cascade R-CNN： delving into high quality object detection［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 6154-6162. 10.1109/cvpr.2018.00644
25	REDMON J， FARHADI A. YOLOv3： an incremental improvement［EB/OL］. （2018-04-08）［2021-08-15］..

[1]	况世雄姚俊波陆佳炜王琪冰肖刚. 基于动态图卷积网络的电梯乘客异常行为数据增强方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[2]	康斌陈斌王俊杰李昱林赵军智咸伟志. 基于多粒度共享语义中心关联的文本到人物检索方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[3]	王子怡李卫军刘雪洋丁建平刘世侠苏易礌. 基于Swin Transformer与多尺度特征融合的图像描述方法#br# [J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[4]	付可意, 王高才, 邬满. 基于改进区域提议网络和特征聚合小样本目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3790-3797.
[5]	庞玉东, 李志星, 刘伟杰, 李天昊, 王宁宁. 基于改进实时检测Transformer的塔机上俯视场景小目标检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3922-3929.
[6]	赵欣, 李鑫杰, 徐健, 刘步云, 毕祥. 基于卷积神经网络与Transformer并行的医学图像配准模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3915-3921.
[7]	颜承志陈颖钟凯高寒. 基于多尺度网络与轴向注意力的3D目标检测算法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[8]	王静刘嘉星宋婉莹薛嘉兴丁温欣. 基于空间变换和特征分布校准的小样本皮肤图像分类模型[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[9]	廖炎华鄢元霞潘文林. 基于YOLOv9的交通路口图像的多目标检测算法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[10]	谢斌红剌颖坤张英俊张睿. 自步学习指导下的半监督目标检测框架[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[11]	邹耀斌, 张彬. 四向加权香农熵最大化导向的自动阈值分割方法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3565-3573.
[12]	刘涛, 鞠事宏, 高一萌. 基于改进YOLOv8n的无人机视角下小目标检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3603-3609.
[13]	刘雨生, 肖学中. 基于扩散模型微调的高保真图像编辑[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3574-3580.
[14]	胡立华, 李小平, 胡建华, 张素兰. 基于四叉树先验辅助的多视图立体方法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3556-3564.
[15]	顾聪, 段其强, 任思雨. 基于上下文感知网络的息肉分割算法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3617-3622.

改进的Libra区域卷积神经网络的脑动脉狭窄影像学检测算法

Image detection algorithm of cerebral arterial stenosis by improved Libra region-convolutional neural network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 25

相关文章 15

编辑推荐

Metrics