基于多尺度卷积特征融合的肺结节图像检索方法

doi:10.11772/j.issn.1001-9081.2019091641

《计算机应用》唯一官方网站 ›› 2020, Vol. 40 ›› Issue (2): 561-565.DOI: 10.11772/j.issn.1001-9081.2019091641

• 第七届CCF大数据学术会议 • 上一篇下一篇

基于多尺度卷积特征融合的肺结节图像检索方法

顾军华¹^,²^,³, 王锋²^,³, 戚永军¹^,⁴(), 孙哲然²^,³, 田泽培²^,³, 张亚娟²^,³

^1.电工设备可靠性与智能化国家重点实验室（河北工业大学），天津 300401
^2.河北省大数据计算重点实验室（河北工业大学），天津 300401
^3.河北工业大学人工智能与数据科学学院，天津 300401
^4.北华航天工业学院信息技术中心，河北廊坊 065000

收稿日期:2019-08-20 修回日期:2019-09-26 接受日期:2019-09-26 发布日期:2019-10-14 出版日期:2020-02-10
通讯作者: 戚永军
作者简介:顾军华（1966—），男，天津人，教授，博士，CCF会员，主要研究方向：数据挖掘、智能信息处理
王锋（1995—），男，河北保定人，硕士研究生，主要研究方向：医学图像处理、图像检索
孙哲然（1996—），女，河北张家口人，硕士研究生，主要研究方向：医学图像处理、图像分类
田泽培（1994—），女，河北石家庄人，硕士研究生，主要研究方向：医学图像处理、目标检测
张亚娟（1984—），女，河北廊坊人，硕士，主要研究方向：数据挖掘、图像处理。
基金资助:
国家自然科学基金资助项目(61702157);河北省自然科学基金重点项目(F2016202144)

Retrieval method of pulmonary nodule images based on multi-scale convolution feature fusion

Junhua GU¹^,²^,³, Feng WANG²^,³, Yongjun QI¹^,⁴(), Zheran SUN²^,³, Zepei TIAN²^,³, Yajuan ZHANG²^,³

^1.State Key Laboratory of Reliability and Intelligence of Electrical Equipment （Hebei University of Technology），Tianjin 300401，China
^2.Hebei Province Key Laboratory of Big Data Calculation （Hebei University of Technology），Tianjin 300401，China
^3.School of Artificial Intelligence，Hebei University of Technology，Tianjin 300401，China
^4.Information Technology Center，North China Institute of Aerospace Engineering，Langfang Hebei 065000，China

Received:2019-08-20 Revised:2019-09-26 Accepted:2019-09-26 Online:2019-10-14 Published:2020-02-10
Contact: Yongjun QI
About author:GU Junhua， born in 1966， Ph. D.， professor. His research interests include data mining， intelligent information processing.
WANG Feng， born in 1995， M. S. candidate. His research interests include medical image processing， image retrieval.
SUN Zheran， born in 1996， M. S. candidate. Her research interests include medical image processing， image classification.
TIAN Zepei， born in 1994， M. S. candidate. Her research interests include medical image processing， object detection.
ZHANG Yajuan， born in 1984， M. S. Her research interests include data mining， image processing.
Supported by:
the National Natural Science Foundation of China(61702157);the Key Program of Natural Science Foundation of Hebei Province(F2016202144)

摘要/Abstract

摘要：

为了解决肺结节图像检索中特征提取难度大、检索精度低下的问题，提出了一种深度网络模型——LMSCRnet用于提取图像特征。首先采用多种不同尺寸滤波器卷积的特征融合方法以解决肺结节大小不一引起的局部特征难以获取的问题，然后引入SE-ResNeXt块来得到更高级的语义特征同时减少网络退化，最后得到肺结节图像的高级语义特征表示。为满足现实中大数据量检索任务的需求，将距离计算及排序过程部署到Spark分布式平台上。实验结果表明，基于LMSCRnet的特征提取方法能够更好地提取图像高级语义信息，在肺结节预处理数据集LIDC上能够达到84.48%的准确率，检索精度高于其他检索方法，而且使用Spark分布式平台完成相似度匹配及排序过程使得检索方法能够满足大数据量检索任务需求。

关键词: 肺结节图像, 图像检索, 特征融合, 并行优化, Spark, 深度学习

Abstract:

In order to solve the difficulty of feature extraction and low accuracy of retrieval in pulmonary nodule image retrieval， a deep network model named LMSCRnet was proposed to extract image features. Firstly， the feature fusion method of convolution of filters with different scales was adopted to solve the problem of difficulty in obtaining local features caused by different sizes of pulmonary nodules. Then， the SE-ReSNeXt block was introduced to obtain the semantic features with higher level and reduce network degradation. Finally， the high-level semantic feature representation of pulmonary nodule image was obtained. In order to meet the needs of massive data retrieval tasks in real life， the distance calculation and sorting process were deployed on the Spark distributed platform. The experimental results show that the feature extraction method based on LMSCRnet can better extract the image high-level semantic information， and can achieve 84.48% accuracy on the preprocessed dataset of lung nodules named LIDC， and has the retrieval precision higher than other retrieval methods. At the same time， using Spark distributed platform to complete similarity matching and sorting process enables the retrieval method to meet the requirements of massive data retrieval tasks.

Key words: pulmonary nodule image, image retrieval, feature fusion, parallel optimization, Spark, deep learning

中图分类号:

TP181

顾军华, 王锋, 戚永军, 孙哲然, 田泽培, 张亚娟. 基于多尺度卷积特征融合的肺结节图像检索方法[J]. 计算机应用, 2020, 40(2): 561-565.

Junhua GU, Feng WANG, Yongjun QI, Zheran SUN, Zepei TIAN, Yajuan ZHANG. Retrieval method of pulmonary nodule images based on multi-scale convolution feature fusion[J]. Journal of Computer Applications, 2020, 40(2): 561-565.

图/表 8

图1 不同尺寸的肺结节

Fig. 1 Pulmonary nodules of different sizes

图2 总体网络结构

Fig. 2 Overall network structure

图3 SE-ResNeXt和ResNeXt的结构

Fig. 3 Structures of SE-ResNeXt and ResNeXt

图4 本文算法并行实现过程

Fig. 4 Parallel implementation process of the proposed algorithm

表1 肺结节分类实验结果 ( %)

Tab. 1 Experimental results on pulmonary nodule classification

模型名称	准确率	模型名称	准确率
SIFT	45.37	M_resnet	80.32
VGG	52.01	SE-ResNeXt	75.91
CNNs	68.45	LMSCRnet	86.78

图5 特征选择对于检索结果的影响

Fig. 5 Influence of feature selection on retrieval result

表2 肺结节检索实验结果 ( %)

Tab. 2 Experimental results of pulmonary nodule retrieval

模型名称	平均查准率	模型名称	平均查准率
SIFT	39.87	M_resnet	78.32
VGG	43.56	SE-ResNeXt	72.95
CNNs	63.17	LMSCRnet	84.48

图6 所提算法在不同节点数目下的加速比

Fig. 6 Speedup of the proposed algorithm with different number of nodes

参考文献 24

1	AKAKIN H C， GURCAN M N. Content-based microscopic image retrieval system for multi-image queries［J］. IEEE Transactions on Information Technology in Biomedicine， 2012， 16（4）： 758-769. 10.1109/titb.2012.2185829
2	COMANICIU D， MEER P， FORAN D J. Image-guided decision support system for pathology［J］. Machine Vision and Applications， 1999， 11（4）： 213-224. 10.1007/s001380050104
3	SCHNORRENBERG F， PATTICHIS C S， SCHIZAS C N， et al. Content-based retrieval of breast cancer biopsy slides［J］. Technology and Health Care， 2000， 8（5）： 291-297. 10.3233/thc-2000-8505
4	SONG L， LIU X， MA L， et al. Using HOG-LBP features and MMP learning to recognize imaging signs of lung lesions［C］// Proceedings of the 25th IEEE International Symposium on Computer-Based Medical Systems. Piscataway： IEEE， 2012： 1-4. 10.1109/cbms.2012.6266313
5	DALAL N， TRIGGS B. Histograms of oriented gradients for human detection［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005：886-893. 10.1109/cvpr.2005.177
6	ZHI L， ZHANG S， ZHAO D， et al. Medical image retrieval using SIFT feature［C］// Proceedings of the 2nd International Congress on Image and Signal Processing. Piscataway： IEEE， 2009： 1-4. 10.1109/cisp.2009.5304112
7	LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110. 10.1023/b:visi.0000029664.99615.94
8	IBANEZ D P， LI J， SHEN Y， et al. Deep learning for pulmonary nodule CT image retrieval — an online assistance system for novice radiologists［C］// Proceedings of the 2017 IEEE International Conference on Data Mining Workshops. Piscataway： IEEE， 2017： 1112-1121. 10.1109/icdmw.2017.158
9	NISHIO M， SUGIYAMA O， YAKAMI M， et al. Computer-aided diagnosis of lung nodule classification between benign nodule， primary lung cancer， and metastatic lung cancer at different image size using deep convolutional neural network with transfer learning［J］. PloS ONE， 2018， 13（7）： No.e0200721. 10.1371/journal.pone.0200721
10	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. ［2019-03-10］. . 10.5244/c.28.6
11	ZHANG G， ZHU D， LIU X， et al. Multi-scale pulmonary nodule classification with deep feature fusion via residual network［J］. Journal of Ambient Intelligence and Humanized Computing， 2018：1-12. 10.1007/s12652-018-1132-5
12	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
13	XIE S， GIRSHICK R， DOLLÁR P， et al. Aggregated residual transformations for deep neural networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5987-5995. 10.1109/cvpr.2017.634
14	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
15	SZEGEDY C， IOFFE S， VANHOUCKE V， et al. Inception-v4， inception-ResNet and the impact of residual connections on learning［C/OL］// Proceedings of the 31st AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2017. ［2018-12-27］. .
16	Apache. Apache Spark［EB/OL］. ［2019-01-10］.. 10.1007/978-1-4842-4810-2_14
17	Apache. Apache Hadoop［EB/OL］. ［2018-12-20］.. 10.1007/978-1-4302-4864-4_20
18	Apache. Hadoop1.2.1 documentation HDFS architecture guide［EB/OL］. ［2019-02-10］.. 10.5753/wtf.2019.7717
19	KRIZHEVSKY A. Learning multiple layers of features from tiny images［R］. Toronto： University of Toronto， 2009.
20	CHEN X， FANG H， LIN T Y， et al. Microsoft COCO captions： data collection and evaluation server［EB/OL］. ［2019-01-10］. .
21	DENG J， DONG W， SOCHER R， et al. ImageNet： a large-scale hierarchical image database［C］// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2009： 248-255. 10.1109/cvpr.2009.5206848
22	ARMATO III S G， MCLENNAN G， BIDAUT L， et al. The Lung Image Database Consortium （LIDC） and Image Database Resource Initiative （IDRI）： a completed reference database of lung nodules on CT scans［J］. Medical Physics， 2011， 38（2）： 915-931. 10.1118/1.3528204
23	SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： a simple way to prevent neural networks from overfitting［J］. The Journal of Machine Learning Research， 2014， 15： 1929-1958.
24	IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift［C］// Proceedings of the International Conference on International Conference on Machine Learning. New York： JMLR.org， 2015： 448-456.

[1]	谢德峰, 吉建民. 融入句法感知表示进行句法增强的语义解析[J]. 计算机应用, 2021, 41(9): 2489-2495.
[2]	代雨柔, 杨庆, 张凤荔, 周帆. 基于自监督学习的社交网络用户轨迹预测模型[J]. 计算机应用, 2021, 41(9): 2545-2551.
[3]	赵宏, 孔东一. 图像特征注意力与自适应注意力融合的图像内容中文描述[J]. 计算机应用, 2021, 41(9): 2496-2503.
[4]	徐江浪, 李林燕, 万新军, 胡伏原. 结合目标检测的室内场景识别方法[J]. 计算机应用, 2021, 41(9): 2720-2725.
[5]	陈成瑞, 孙宁, 何世彪, 廖勇. 面向C-V2X通信的基于深度学习的联合信道估计与均衡算法[J]. 计算机应用, 2021, 41(9): 2687-2693.
[6]	郑志强, 胡鑫, 翁智, 王雨禾, 程曦. 基于改进DenseNet的牛眼图像特征提取方法[J]. 计算机应用, 2021, 41(9): 2780-2784.
[7]	何正海, 线岩团, 王蒙, 余正涛. 融合句法指导与字符注意力机制的案情阅读理解方法[J]. 计算机应用, 2021, 41(8): 2427-2431.
[8]	周险兵, 樊小超, 任鸽, 杨勇. 基于多层次语义特征的英文作文自动评分方法[J]. 计算机应用, 2021, 41(8): 2205-2211.
[9]	王伟, 赵尔平, 崔志远, 孙浩. 基于HowNet义原和Word2vec词向量表示的多特征融合消歧方法[J]. 计算机应用, 2021, 41(8): 2193-2198.
[10]	曹玉红, 徐海, 刘荪傲, 王紫霄, 李宏亮. 基于深度学习的医学影像分割研究综述[J]. 计算机应用, 2021, 41(8): 2273-2287.
[11]	秦斌斌, 彭良康, 卢向明, 钱江波. 司机分心驾驶检测研究进展[J]. 计算机应用, 2021, 41(8): 2330-2337.
[12]	吴丽丹, 薛雨阳, 童同, 杜民, 高钦泉. 基于前景语义信息的图像着色算法[J]. 计算机应用, 2021, 41(7): 2048-2053.
[13]	杜炎, 吕良福, 焦一辰. 基于模糊推理的模糊原型网络[J]. 计算机应用, 2021, 41(7): 1885-1890.
[14]	侯笑晗, 金国栋, 谭力宁, 薛远亮. 基于自适应和最优特征的合成孔径雷达舰船检测方法[J]. 计算机应用, 2021, 41(7): 2150-2155.
[15]	李亚芳, 梁烨, 冯韦玮, 祖宝开, 康玉健. 基于社区优化的深度网络嵌入方法[J]. 计算机应用, 2021, 41(7): 1956-1963.

基于多尺度卷积特征融合的肺结节图像检索方法

Retrieval method of pulmonary nodule images based on multi-scale convolution feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 24

相关文章 15

编辑推荐

Metrics