改进的Libra区域卷积神经网络的脑动脉狭窄影像学检测算法

doi:10.11772/j.issn.1001-9081.2021071206

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (9): 2909-2916.DOI: 10.11772/j.issn.1001-9081.2021071206

• 多媒体计算与计算机仿真 • 上一篇

改进的Libra区域卷积神经网络的脑动脉狭窄影像学检测算法

刘汉卿¹, 康晓东¹(), 张福青², 赵秀圆², 杨靖怡¹, 王笑天¹, 李梦凡³

^1.天津医科大学医学影像学院, 天津 300202
^2.天津医科大学第二附属医院, 天津 300211
^3.西交利物浦大学智能工程学院, 江苏苏州 215123

收稿日期:2021-07-12 修回日期:2021-09-15 接受日期:2021-09-22 发布日期:2022-09-19 出版日期:2022-09-10
通讯作者: 康晓东
作者简介:刘汉卿（1997—），男，湖南衡阳人，硕士研究生，主要研究方向：医学图像处理；
张福青（1977—），男，天津人，副主任医师，硕士，主要研究方向：脑血管疾病的预防与治疗；
赵秀圆（1993—），女，天津人，医师，硕士，主要研究方向：脑血管疾病的预防与治疗；
杨靖怡（1999—），女，天津人，主要研究方向：医学图像处理；
王笑天（1998—），男，甘肃兰州人，主要研究方向：医学图像处理；
李梦凡（1996—），男，陕西西安人，硕士研究生，主要研究方向：计算机视觉、计算机辅助医学成像。
基金资助:
京津冀协同创新项目(17YEXTZC00020)

Image detection algorithm of cerebral arterial stenosis by improved Libra region-convolutional neural network

Hanqing LIU¹, Xiaodong KANG¹(), Fuqing ZHANG², Xiuyuan ZHAO², Jingyi YANG¹, Xiaotian WANG¹, Mengfan LI³

^1.School of Medical Imaging，Tianjin Medical University，Tianjin 300202，China
^2.The Second Affiliated Hospital，Tianjin Medical University，Tianjin 300211，China
^3.School of Advanced Technology，Xi’an Jiaotong?Liverpool University，Suzhou Jiangsu 215123，China

Received:2021-07-12 Revised:2021-09-15 Accepted:2021-09-22 Online:2022-09-19 Published:2022-09-10
Contact: Xiaodong KANG
About author:LIU Hanqing， born in 1997， M. S. candidate. His research interests include medical image processing.
ZHANG Fuqing， born in 1977， M. S.， associate professor of medicine. His research interests include prevention and treatment of cerebrovascular diseases.
YANG Jingyi， born in 1999. Her research interests include medical image processing.
WANG Xiaotian， born in 1998. His research interests include medical image processing.
LI Mengfan， born in 1996， M. S. candidate. His research interests include computer vision， computer-aided medical imaging.
Supported by:
Beijing-Tianjin-Hebei Collaborative Innovation Project(17YEXTZC00020)

摘要/Abstract

摘要：

针对断层面上血管的多形性和检测过程中出现的采样不均衡的问题，提出一种改进的Libra区域卷积神经网络（R-CNN）的脑动脉狭窄影像学检测算法，用于检测计算机断层扫描血管造影（CTA）图像的颈内动脉和椎动脉狭窄。首先，在目标检测网络Libra R-CNN中以ResNet50为骨干网络，并分别在骨干网络的3、4、5阶段引入可变卷积网络（DCN），通过学习偏移量提取血管在不同断层面的形态特征；然后，将从骨干网络中提取的特征图输入至引入非局部神经网络（Non-local NN）的平衡特征金字塔（BFP）中进行更深度的特征融合；最后，将融合后的特征图输入至级联检测器，并通过提高交并比（IoU）阈值优化最终检测结果。实验结果表明，改进的Libra R-CNN检测算法相比Libra R-CNN算法，在脑动脉CTA数据集中平均准确率（AP）、AP₅₀、AP₇₅和AP_S分别提升了4.3、1.3、6.9和4.0个百分点；在公开的结肠息肉CT数据集中，AP、AP₅₀、AP₇₅和AP_S分别提升了6.6、3.6、13.0和6.4个百分点。通过在Libra R-CNN的骨干网络中加入DCN、Non-local NN和级联检测器，进一步融合特征从而学习脑动脉血管结构的语义信息，使得狭窄区域检测结果更精确，且改进算法在不同的检测任务中具有泛化能力。

关键词: Libra区域卷积神经网络, 可变卷积网络, 非局部神经网络, 级联检测器, 脑动脉狭窄

Abstract:

In view of the problems of vascular pleomorphism on transverse sections and sampling imbalance in the process of detection， an improved Libra Region-Convolutional Neural Network （R-CNN） cerebral arterial stenosis detection algorithm was proposed to detect internal carotid artery and vertebral artery stenosis in Computed Tomography Angiography （CTA） images. Firstly， ResNet50 was used as the backbone network in Libra R-CNN， Deformable Convolutional Network （DCN） was introduced into the 3， 4， 5 stages of backbone network， and the offsets were learnt to extract the morphological features of blood vessels on different transverse sections. Secondly， the feature maps extracted from the backbone network were input into Balanced Feature Pyramid （BFP） with the Non-local Neural Network （Non-local NN） introduced for deeper feature fusion. Finally， the fused feature maps were input to the cascade detector， and the final detection result was optimized by increasing the Intersection-over-Union （IoU） threshold. Experimental results show that compared with Libra R-CNN algorithm， the improved Libra R-CNN detection algorithm increases 4.3， 1.3， 6.9 and 4.0 percentage points respectively in AP， AP₅₀， AP₇₅ and AP_S， respectively_{on the cerebral artery CTA dataset； on the public CT dataset of colon polyps， the improved Libra R-CNN detection algorithm has the AP， AP₅₀， AP₇₅ and AP_S increased by 6.6， 3.6， 13.0 and 6.4 percentage points， respectively. By adding DCN， Non-local NN and cascade detector to the backbone network of Libra R-CNN algorithm， the features are further fused to learn the semantic information of cerebral artery structure and make the results of narrow area detection more accurate， and the improved algorithm has the ability of generalization in different detection tasks.}

Key words: Libra Region-Convolutional Neural Network (R-CNN), Deformable Convolutional Network (DCN), Non-local Neural Network (Non-local NN), cascade detector, cerebral artery stenosis

中图分类号:

TP391.41

刘汉卿, 康晓东, 张福青, 赵秀圆, 杨靖怡, 王笑天, 李梦凡. 改进的Libra区域卷积神经网络的脑动脉狭窄影像学检测算法[J]. 计算机应用, 2022, 42(9): 2909-2916.

Hanqing LIU, Xiaodong KANG, Fuqing ZHANG, Xiuyuan ZHAO, Jingyi YANG, Xiaotian WANG, Mengfan LI. Image detection algorithm of cerebral arterial stenosis by improved Libra region-convolutional neural network[J]. Journal of Computer Applications, 2022, 42(9): 2909-2916.

图/表 13

图1 平衡特征金字塔结构

Fig.1 Structure of balanced feature pyramid

图2 可变卷积网络结构

Fig.2 Structure of deformable convolutional network

图3 非局部神经网络结构

Fig.3 Structure of non-local neural network

图4 级联检测器结构

Fig.4 Structure of cascade detector

图5 改进的Libra R-CNN算法结构

Fig.5 Structure of improved Libra R-CNN algorithm

表1 实验1的对比结果

Tab.1 Comparison results of experiment 1

算法	Backbone	FPS	AP/%	AP₅₀/%	AP₇₅/%	AP_S/%
Faster R-CNN^［9］	ResNet50	37.7	47.3	96.2	31.3	47.3
YOLOv3^［25］	ResNet50	56.2	43.9	95.9	24.6	43.9
Libra R-CNN^［21］	ResNet50	33.7	47.6	96.0	35.8	47.6
Cascade R-CNN^［24］	ResNet50	26.1	49.8	94.8	41.8	49.8
本文算法	ResNet50	22.9	51.9	97.3	42.7	51.6

表2 实验1的消融结果

Tab.2 Ablation results of experiment 1

算法	FPS	AP/%	AP₅₀/%	AP₇₅/%	AP_S/%
Libra R-CNN	33.7	47.6	96.0	35.8	47.6
Libra R-CNN+DCN	32.0	47.8	95.2	36.8	47.9
Libra R-CNN+DCN+Cascade	22.7	50.5	95.9	42.8	50.8
Libra R-CNN+DCN+Cascade+Non-Local NN	22.9	51.9	97.3	42.7	51.6

图6 几种方法的训练步数与平均准确率结果对比

Fig. 6 Results comparison of training steps and average accuracy among several methods

图7 几种方法的预测速度与准确率结果对比

Fig.7 Results comparison of prediction speed and average precision among several methods

图8 实验1中不同算法的检测效果对比

Fig.8 Detection effects comparison of different algorithms in experiment 1

表3 实验2的对比结果

Tab.3 Comparison results of experiment 2

算法	Backbone	FPS	AP/%	AP₅₀/%	AP₇₅/%	AP_S/%
Faster R-CNN^［9］	ResNet50	36.7	52.0	94.1	54.0	53.8
YOLOv3^［25］	ResNet50	57.4	47.2	92.2	47.0	37.8
Libra R-CNN^［21］	ResNet50	33.2	53.2	95.7	53.9	53.4
Cascade R-CNN^［24］	ResNet50	24.8	56.1	91.0	63.4	56.1
本文算法	ResNet50	22.3	59.8	99.3	66.9	59.8

表4 实验2的消融结果

Tab.4 Ablation results of experiment 2

算法	FPS	AP/%	AP₅₀/%	AP₇₅/%	AP_S/%
Libra R-CNN	33.2	53.2	95.7	53.9	53.4
Libra R-CNN+DCN	32.1	53.9	91.4	55.0	53.3
Libra R-CNN+DCN+Cascade	23.0	55.6	92.5	58.2	55.6
Libra R-CNN+DCN+ Cascade+Non-Local	22.3	59.8	99.3	66.9	59.8

图9 实验2中不同算法的检测效果对比

Fig.9 Detection effects comparison of different algorithms in experiment 2

参考文献 25

1	HSIEH Y Z， LUO Y C， PAN C， et al. Cerebral small vessel disease biomarkers detection on MRI-sensor-based image and deep learning［J］. Sensors， 2019， 19（11）： No.2573. 10.3390/s19112573
2	BASH S， VILLABLANCA J P， JAHAN R， et al. Intracranial vascular stenosis and occlusive disease： evaluation with CT angiography， MR angiography， and digital subtraction angiography［J］. American Journal of Neuroradiology， 2005， 26（5）： 1012-1021.
3	WADDLE S L， JUTTUKONDA M R， LANTS S K， et al. Classifying intracranial stenosis disease severity from functional MRI data using machine learning［J］. Journal of Cerebral Blood Flow and Metabolism， 2020， 40（4）： 705-719. 10.1177/0271678x19848098
4	HSU K C， LIN C H， JOHNSON K R， et al. Autodetect extracranial and intracranial artery stenosis by machine learning using ultrasound［J］. Computers in Biology and Medicine， 2020， 116： No.103569. 10.1016/j.compbiomed.2019.103569
5	ARAKI T， JAIN P K， SURI H S， et al. Stroke risk stratification and its validation using ultrasonic echolucent carotid wall plaque morphology： a machine learning paradigm［J］. Computers in Biology and Medicine， 2017， 80：77-96. 10.1016/j.compbiomed.2016.11.011
6	SABA L， JAIN P K， SURI H S， et al. Plaque tissue morphology-based stroke risk stratification using carotid ultrasound： a polling-based PCA learning paradigm［J］. Journal of Medical Systems， 2017， 41（6）： No.98. 10.1007/s10916-017-0745-0
7	HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916. 10.1109/tpami.2015.2389824
8	GIRSHICK R. Fast R-CNN［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1440-1448. 10.1109/iccv.2015.169
9	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015：91-99.
10	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944. 10.1109/cvpr.2017.106
11	JOO B， AHN S S， YOON P H， et al. A deep learning algorithm may automate intracranial aneurysm detection on MR angiography with high diagnostic performance［J］. European Radiology， 2020， 30（11）：5785-5793. 10.1007/s00330-020-06966-8
12	SMISTAD E， LØVSTAKKEN L. Vessel detection in ultrasound images using deep convolutional neural networks［C］// Proceedings of the 2016 International Workshop on Deep Learning in Medical Image Analysis/2016 International Workshop on Large-Scale Annotation of Biomedical Data and Expert Label Synthesis， LNCS 10008. Cham： Springer， 2016： 30-38.
13	STIB M T， VASQUEZ J， DONG M P， et al. Detecting large vessel occlusion at multiphase CT angiography by using a deep convolutional neural network［J］. Radiology， 2020， 297（3）： 640-649. 10.1148/radiol.2020200334
14	DE MAN Q， HANEDA E， CLAUS B， et al. A two-dimensional feasibility study of deep learning-based feature detection and characterization directly from CT sinograms［J］. Medical Physics， 2019， 46（12）： e790-e800. 10.1002/mp.13640
15	胡涛，苏佳斌，杨恒，等. 基于注意力机制的CNN和GRU烟雾病检测方法研究［J］. 航天医学与医学工程， 2021， 34（1）：68-74. 10.16289/j.cnki.1002-0837.2021.01.011
	HU T， SU J B， YANG H， et al. Research on detection of moyamoya disease by CNN and GRU based on attention mechanism［J］. Space Medicine and Medical Engineering， 2021， 34（1）：68-74. 10.16289/j.cnki.1002-0837.2021.01.011
16	DAI X L， HUANG L X， QIAN Y， et al. Deep learning for automated cerebral aneurysm detection on computed tomography images［J］. International Journal of Computer Assisted Radiology and Surgery， 2020， 15（4）： 715-723. 10.1007/s11548-020-02121-2
17	YANG J H， XIE M F， HU C P， et al. Deep learning for detecting cerebral aneurysms with CT angiography［J］. Radiology， 2021， 298（1）： 155-163. 10.1148/radiol.2020192154
18	SHINOHARA Y， TAKAHASHI N， LEE Y， et al. Development of a deep learning model to identify hyperdense MCA sign in patients with acute ischemic stroke［J］. Japanese Journal of Radiology， 2020， 38（2）： 112-117. 10.1007/s11604-019-00894-4
19	卫渊，朱光宇，颜格，等. 基于卷积神经网络的颅内动脉瘤CTA影像判别［J］. 医用生物力学， 2019， 34（S1）：147.
	WEI Y， ZHU G Y， YAN G， et al. CTA image discrimination of intracranial aneurysm based on convolutional neural network［J］. Journal of Medical Biomechanics， 2019， 34（S1）： 147.
20	秦志光，陈浩，丁熠，等. 基于多模态卷积神经网络的脑血管提取方法研究［J］. 电子科技大学学报， 2016， 45（4）：573-581. 10.3969/j.issn.1001-0548.2016.04.010
	QIN Z G， CHEN H， DING Y， et al. Research on brain vessel extraction via multi-modal convolutional neural networks［J］. Journal of University of Electronic Science and Technology of China， 2016， 45（4）： 573-581. 10.3969/j.issn.1001-0548.2016.04.010
21	PANG J M， CHEN K， SHI J P， et al. Libra R-CNN： towards balanced learning for object detection［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 821-830. 10.1109/cvpr.2019.00091
22	WANG X L， GIRSHICK R， GUPTA A， et al. Non-local neural networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7794-7803. 10.1109/cvpr.2018.00813
23	SHOKRI M， HARATI A， TABA K. Salient object detection in video using deep non-local neural networks［J］. Journal of Visual Communication and Image Representation， 2020， 68： No.102769. 10.1016/j.jvcir.2020.102769
24	CAI Z W， VASCONCELOS N. Cascade R-CNN： delving into high quality object detection［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 6154-6162. 10.1109/cvpr.2018.00644
25	REDMON J， FARHADI A. YOLOv3： an incremental improvement［EB/OL］. （2018-04-08）［2021-08-15］..

[1]	张怡, 孙永荣, 赵科东, 李华, 曾庆化. 空中加油场景下的目标联合检测跟踪算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2893-2899.
[2]	马峻, 姚震, 徐翠锋, 陈寿宏. 基于改进PP-YOLO和Deep-SORT的多无人机实时跟踪算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2885-2892.
[3]	尹靖涵, 瞿绍军, 姚泽楷, 胡玄烨, 秦晓雨, 华璞靖. 基于YOLOv5的雾霾天气下交通标志识别模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2876-2884.
[4]	魏海云, 郑茜颖, 俞金玲. 基于多尺度网络的运动模糊图像复原算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2838-2844.
[5]	刘阳陆志扬王骏施俊. 基于自注意力连接UNet的磁共振成像去吉布斯伪影算法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[6]	朱周华齐琦. 基于改进YOLOv5s电动车头盔的自动检测与识别[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[7]	王惠茹李秀红李哲马春明任泽裕杨丹. 多模态预训练模型综述[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[8]	贾清玉常亮杨先一强保华张世豪谢武杨明浩. 面向机械臂操作的视觉信息实时重建方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[9]	李海丰张凡朴敏楠王怀超李南莎桂仲成. 基于通道和空间注意力的机场道面地下目标自动检测[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[10]	张丽莹, 庞春江, 王新颖, 李国亮. 基于改进YOLOv3的多尺度目标检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2423-2431.
[11]	王一宁, 赵青杉, 秦品乐, 胡玉兰, 宗春梅. 基于轻量密集神经网络的医学图像超分辨率重建算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2586-2592.
[12]	尹丽华, 康亮, 朱文华. 融入时空显著性的高精度视频稳像算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2564-2570.
[13]	唐鑫彭博滕飞. 基于状态信息的红外小目标跟踪方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[14]	申志军穆丽娜高静史远航刘志强. 细粒度图像分类综述[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[15]	刘辉张琳玉王复港何如瑾. 基于注意力机制和上下文信息的目标检测算法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.

改进的Libra区域卷积神经网络的脑动脉狭窄影像学检测算法

Image detection algorithm of cerebral arterial stenosis by improved Libra region-convolutional neural network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 25

相关文章 15

编辑推荐

Metrics