基于空洞卷积的医学图像超分辨率重建算法

doi:10.11772/j.issn.1001-9081.2023030381

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (9): 2940-2947.DOI: 10.11772/j.issn.1001-9081.2023030381

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于空洞卷积的医学图像超分辨率重建算法

李众¹^,², 王雅婧¹, 马巧梅¹^,²()

^1.中北大学软件学院，太原 030051
^2.山西省医学影像人工智能工程技术研究中心（中北大学），太原 030051

收稿日期:2023-04-07 修回日期:2023-07-03 接受日期:2023-07-06 发布日期:2023-09-10 出版日期:2023-09-10
通讯作者: 马巧梅
作者简介:李众（1974—），男，山西忻州人，副教授，博士，CCF会员，主要研究方向：图形图像处理、算法分析
王雅婧（1998—），女，山西晋中人，硕士研究生，主要研究方向：图像处理、算法分析；
基金资助:
山西省自然科学基金资助项目(20210302123019)

Super-resolution reconstruction algorithm of medical images based on dilated convolution

Zhong LI¹^,², Yajing WANG¹, Qiaomei MA¹^,²()

^1.School of Software，North University of China，Taiyuan Shanxi 030051，China
^2.Shanxi Medical Imaging Artificial Intelligence Engineering Technology Research Center （North University of China），Taiyuan Shanxi 030051，China

Received:2023-04-07 Revised:2023-07-03 Accepted:2023-07-06 Online:2023-09-10 Published:2023-09-10
Contact: Qiaomei MA
About author:LI Zhong， born in 1974， Ph. D.， associate professor. His research interests include graphics and image processing， algorithm analysis.
WANG Yajing， born in 1998， M. S. candidate. Her research interests include image processing， algorithm analysis.
Supported by:
Natural Science Foundation of Shanxi Province(20210302123019)

摘要/Abstract

摘要：

为解决现有医学图像超分辨率重建中存在的图像细节模糊、全局信息利用不充分等问题，提出一种基于空洞卷积与改进的混合注意力机制的医学图像超分辨率重建算法。首先，将深度可分离卷积与空洞卷积相结合，使用不同大小的感受野对图像进行不同尺度的特征提取，从而增强特征表达能力；其次，引入边缘通道注意力机制，在提取图像高频特征的同时融合边缘信息，从而提高模型的重建精度；再次，混合L1损失与感知损失函数作为整体损失函数，使重建后的图像效果更符合人类视觉感观。实验结果表明，在放大因子为3时，与基于卷积神经网络的图像超分辨率（SRCNN）算法、VDSR（Very Deep convolutional networks Super-Resolution）相比，所提算法的峰值信噪比（PSNR）平均提高了11.29%与7.85%；结构相似性（SSIM）平均提高了5.25%和2.44%。可见，所提算法能增强医学图像的效果与纹理特征，且对图像整体结构还原更加完整。

关键词: 超分辨率重建, 医学图像, 深度可分离卷积, 空洞卷积, 注意力机制

Abstract:

To solve the problems such as blurred image details and insufficient utilization of global information in existing medical image super-resolution reconstruction， a medical image super-resolution reconstruction algorithm based on dilated convolution and improved hybrid attention mechanism was proposed. Firstly， depthwise separable convolution was combined with dilated convolution to extract image features at different scales by using perceptive fields with different sizes， thereby enhancing feature representation ability. Secondly， edge channel attention mechanism was introduced to fuse the edge information while extracting the high-frequency image features， thereby improving the reconstruction accuracy of the model. Thirdly， L1 loss and perceptual loss were mixed as the overall loss function in order to make the reconstructed image effect more consistent with human visual perception. Experimental results show that when the amplification factor is 3， compared with Super-Resolution Convolutional Neural Network （SRCNN） and VDSR （Very Deep convolutional networks Super-Resolution）， the proposed algorithm has the PSNR （Peak Signal-to-Noise Ratio） improved by 11.29% and 7.85% averagely and respectively， and the SSIM （Structural Similarity Index Measure） improved by 5.25% and 2.44% averagely and respectively. It can be seen that the proposed algorithm enhances the effect and texture features of the medical images， and provides more complete restoration of overall image structure.

Key words: super-resolution reconstruction, medical image, depthwise separable convolution, dilated convolution, attention mechanism

中图分类号:

TP391.1

李众, 王雅婧, 马巧梅. 基于空洞卷积的医学图像超分辨率重建算法[J]. 计算机应用, 2023, 43(9): 2940-2947.

Zhong LI, Yajing WANG, Qiaomei MA. Super-resolution reconstruction algorithm of medical images based on dilated convolution[J]. Journal of Computer Applications, 2023, 43(9): 2940-2947.

图/表 15

图1 普通网络与残差网络的结构对比

Fig. 1 Comparison of ordinary network structure and residual network structure

图2 深度可分离卷积过程

Fig. 2 Depthwise separable convolution process

图3 本文算法的结构

Fig. 3 Structure of the proposed algorithm

图4 空洞可分离卷积模块的结构

Fig. 4 Structure of dilation separable convolution module

图5 改进的混合注意力模块的结构

Fig. 5 Structure of improved mixed attention residual module

图6 边缘通道注意力模块的结构

Fig. 6 Structure of edge channel attention module

图7 改进的空间注意力模块的结构

Fig. 7 Structure of improved spatial attention module

图8 不同α下的PSNR对比

Fig. 8 Comparison of PSNR under different α

图9 不同权值重建图像的直观对比

Fig. 9 Visual comparison of reconstructed images with different weights

图10 原始数据样本

Fig. 10 Raw data samples

图11 不同MRFA模块数的PSNR对比

Fig. 11 Comparison of PSNR with different MRFA module numbers

表1 不同模块的重建性能比较

Tab. 1 Comparison of reconstruction performance of different modules

模块	PSNR/dB	SSIM
DSC	29.02	0.796 3
DSC+CA	30.94	0.883 2
DSC+SAM	29.81	0.800 0
DSC+ECAM	31.02	0.879 5
DSC+ISAM	30.27	0.877 1
DSC+ECAM+ISAM	31.35	0.901 3

表2 不同算法的PSNR/SSIM值比较

Tab. 2 Comparison of PSNR/SSIM values of different algorithms

测试集	算法	不同放大倍数下的PSNR/dB			不同放大倍数下的SSIM
测试集	算法	2倍	3倍	4倍	2倍	3倍	4倍
测试集A	Bicubic	24.88	22.97	22.15	0.789 5	0.705 0	0.609 8
	SRCNN	28.16	26.51	26.70	0.860 0	0.794 5	0.795 8
	FSRCNN	26.69	24.34	24.71	0.803 5	0.693 7	0.705 4
	VDSR	30.12	27.56	27.78	0.898 0	0.824 5	0.818 5
	RCAN	30.44	28.47	27.93	0.891 2	0.835 1	0.813 7
	文献［27］算法	30.07	29.10	27.62	0.887 1	0.821 4	0.815 4
	FAWDN	31.11	28.95	28.44	0.923 1	0.832 2	0.819 1
	MIRN	30.57	29.03	27.87	0.895 7	0.825 0	0.810 6
	本文算法	31.35	29.31	28.74	0.901 3	0.847 8	0.816 9
测试集B	Bicubic	30.15	27.41	24.93	0.789 5	0.808 8	0.719 2
	SRCNN	34.05	30.07	27.43	0.860 0	0.864 8	0.784 4
	FSRCNN	29.51	26.21	24.80	0.803 5	0.749 5	0.689 4
	VDSR	36.20	30.80	28.06	0.898 0	0.879 6	0.806 3
	RCAN	35.42	31.54	30.64	0.902 5	0.863 6	0.827 2
	文献［27］算法	35.92	33.21	30.01	0.910 0	0.891 0	0.829 5
	FAWDN	35.37	32.74	30.58	0.915 2	0.890 2	0.815 0
	MIRN	35.58	33.43	30.29	0.903 8	0.887 6	0.828 8
	本文算法	35.83	33.68	30.78	0.901 3	0.897 5	0.831 1

图12 各算法的重建效果对比（4倍放大）

Fig. 12 Comparison of reconstruction effects of different algorithms （4 times magnification）

表3 不同算法重建图像的平均用时

Tab. 3 Average time spent to reconstruct images bydifferent algorithms

算法	运行时间/s	算法	运行时间/s
Bicubic	1.071	文献［27］算法	3.056
SRCNN	1.654	FAWDN	5.631
FSRCNN	1.241	MIRN	4.944
VDSR	2.062	本文算法	3.527
RCAN	2.453

参考文献 27

1	CHRISTENSEN-JEFFRIES K， COUTURE O， DAYTON P A， et al. Super-resolution ultrasound imaging［J］. Ultrasound in Medicine and Biology， 2020， 46（4）： 865-891. 10.1016/j.ultrasmedbio.2019.11.013
2	BÄTZ M， EICHENSEER A， SEILER J， et al. Hybrid super-resolution combining example-based single-image and interpolation-based multi-image reconstruction approaches［C］// Proceeding of the 2015 IEEE International Conference on Image Processing. Piscataway： IEEE， 2015： 58-62. 10.1109/icip.2015.7350759
3	李现国，冯欣欣，李建雄. 多尺度残差网络的单幅图像超分辨率重建［J］. 计算机工程与应用， 2021， 57（7）：215-221. 10.3778/j.issn.1002-8331.2001-0073
	LI X G， FENG X X， LI J X. Single image super-resolution reconstruction based on multi-scale residual network［J］. Computer Engineering and Applications， 2021， 57（7）： 215-221. 10.3778/j.issn.1002-8331.2001-0073
4	DONG C， LOY C C， HE K M，et al ． Image super-resolution using deep convolutional networks［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38 （2）： 295-307． 10.1109/tpami.2015.2439281
5	KIM J， LEE J K， LEE K M. Accurate image super-resolution using very deep convolutional networks［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2016：1646-1654. 10.1109/cvpr.2016.182
6	LIM B，SON S， KIM H，et al. Enhanced deep residual networks for single image super-resolution［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE，2017：1132-1440. 10.1109/cvprw.2017.151
7	CHOLLET F. Xception： deep learning with depthwise separable convolutions［C］∥ Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017：1800-1807. 10.1109/cvpr.2017.195
8	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. Deep Lab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018，40（4）：834-848. 10.1109/tpami.2017.2699184
9	胡雪影，郭海儒，朱蓉. 基于混合深度卷积网络的图像超分辨率重建［J］. 计算机应用， 2020， 40（7）：2069-2076. 10.11772/j.issn.1001-9081.2019122149
	HU X Y， GUO H R， ZHU R. Image super-resolution reconstruction based on hybrid deep convolutional network［J］. Journal of Computer Applications， 2020， 40（7）： 2069-2076. 10.11772/j.issn.1001-9081.2019122149
10	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer，2018： 3-19.
11	张晔，刘蓉，刘明，等. 基于多通道注意力机制的图像超分辨率重建网络［J］. 计算机应用，2022，42（5）：1563-1569. 10.11772/j.issn.1001-9081.2021030498
	ZHANG Y， LIU R， LIU M， et al. Image super-resolution reconstruction network based on multi-channel attention mechanism［J］. Journal of Computer Applications， 2022， 42（5）： 1563-1569. 10.11772/j.issn.1001-9081.2021030498
12	ZHANG Y N， AN M Q. Deep learning-and transfer learning-based super resolution reconstruction from single medical image［J］. Journal of Healthcare Engineering， 2017， 2017：No.5859727. 10.1155/2017/5859727
13	WANG Y K， TENG Q Z， HE X H， et al. CT-image of rock samples super resolution using 3D convolutional neural network［J］. Computers and Geosciences， 2019， 133： No.104314. 10.1016/j.cageo.2019.104314
14	高媛，王晓晨，秦品乐，等. 基于深度可分离卷积和宽残差网络的医学影像超分辨率重建［J］. 计算机应用， 2019， 39（9）：2731-2737. 10.11772/j.issn.1001-9081.2019030413
	GAO Y， WANG X C， QIN P L， et al. Medical image super-resolution reconstruction based on deep separable convolution and wide residual network［J］. Journal of Computer Applications， 2019， 39（9）： 2731-2737. 10.11772/j.issn.1001-9081.2019030413
15	CHEN L H， YANG X M， JEON G， et al. A trusted medical image super-resolution method based on feedback adaptive weighted dense network［J］. Artificial Intelligence in Medicine，2020，106：No.101857. 10.1016/j.artmed.2020.101857
16	QIU D F， ZHENG L X， ZHU J Q， et al. Multiple improved residual networks for medical image super-resolution［J］. Future Generation Computer Systems， 2021，116： 200-208. 10.1016/j.future.2020.11.001
17	HE K M， ZHANG X Y， REN SH Q，et al.Deep residual learning for image recognition［C］// Proceeding of the 2016 IEEE Conference on Computer Vision and Pattern Recongnition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
18	ENGEL J， KOLTUN V， CREMERS D. Direct sparse odometry ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018，40（3）：611-625. 10.1109/tpami.2017.2658577
19	CANNY J. A computational approach to edge detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986，PAMI-8（6）： 679-698. 10.1109/tpami.1986.4767851
20	ZHAO H， GALLO O， FROSIO I， et al. Loss functions for image restoration with neural networks［J］. IEEE Transactions on Computational Imaging， 2017， 3（1）： 47-57. 10.1109/tci.2016.2644865
21	SHEN H. Towards a mathematical understanding of the difficulty in learning with feedforward neural networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 811-820. 10.1109/cvpr.2018.00091
22	ZHANG R， ISOLA P， EFROS A A， et al. The unreasonable effectiveness of deep features as a perceptual metric［C］∥ Proceeding of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：586-595. 10.1109/cvpr.2018.00068
23	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition ［EB/OL］. ［2023-01-17］. .
24	KEYS R. Cubic convolution interpolation for digital image processing［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing， 1981， 29（6）： 1153-1160. 10.1109/tassp.1981.1163711
25	DONG C， LOY C C， TANG X. Accelerating the super-resolution convolutional neural network ［EB/OL］. ［2022-12-18］. . 10.1007/978-3-319-46475-6_25
26	ZHANG Y L， LI K P， LI K， et al. Image super-resolution using very deep residual channel attention networks［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 286-301.
27	李俊珠，郑华，雷帅，等. 基于多尺度注意力残差网络的图像超分辨率重建［J］. 计算机系统应用， 2022， 31（5）：324-330.
	LI J Z， ZHENG H， LEI S， et al. Image super-resolution reconstruction based on multi-scale attention residual network［J］. Computer Systems and Applications， 2022， 31（5）：324-330.

[1]	王宏, 钱清, 王欢, 龙永. 融合大核注意力卷积的轻量化图像篡改定位算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2692-2699.
[2]	杨昊, 张轶. 基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2727-2734.
[3]	袁国龙, 张玉金, 刘洋. 基于残差反馈和自注意力的图像篡改取证网络[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2925-2931.
[4]	张秋余, 温永旺. 用于语音检索的三联体深度哈希方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2910-2918.
[5]	崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.
[6]	齐爱玲, 王宣淋. 基于中层细微特征提取与多尺度特征融合细粒度图像识别[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2556-2563.
[7]	金泽熙, 李磊, 刘继. 基于改进领域分离网络的迁移学习模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2382-2389.
[8]	刘源, 董永权, 贾瑞, 杨昊霖. 面向个性化课程推荐的分层分期注意力网络模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2358-2363.
[9]	梁美佳, 刘昕武, 胡晓鹏. 基于改进YOLOv3的列车运行环境图像小目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2611-2618.
[10]	王静红, 周志霞, 王辉, 李昊康. 双路自编码器的属性网络表示学习[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2338-2344.
[11]	姜钧舰, 刘达维, 刘逸凡, 任酉贵, 赵志滨. 基于孪生网络的小样本目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2325-2329.
[12]	段升位, 程欣宇, 王浩舟, 王飞. 基于改进的YOLOv5的大坝表面病害检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2619-2629.
[13]	魏远, 林彦, 郭晟楠, 林友芳, 万怀宇. 融合出发地与目的地时空相关性的城市区域间出租车需求预测[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2100-2106.
[14]	李忠雨, 孙浩东, 李娇. 轻量化篮球裁判手势识别算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2173-2181.
[15]	拓雨欣, 薛涛. 融合指针网络与关系嵌入的三元组联合抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2116-2124.

基于空洞卷积的医学图像超分辨率重建算法

Super-resolution reconstruction algorithm of medical images based on dilated convolution

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 27

相关文章 15

编辑推荐

Metrics