基于卷积神经网络的时频域CT重建算法

doi:10.11772/j.issn.1001-9081.2021050876

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (4): 1308-1316.DOI: 10.11772/j.issn.1001-9081.2021050876

• 多媒体计算与计算机仿真 • 上一篇

基于卷积神经网络的时频域CT重建算法

李昆鹏¹^,², 张鹏程¹^,²(), 上官宏³, 王燕玲⁴, 杨婕⁵, 桂志国¹^,²

^1.中北大学信息与通信工程学院，太原 030051
^2.生物医学成像与影像大数据山西省重点实验室（中北大学），太原 030051
^3.太原科技大学电子信息工程学院，太原 030024
^4.山西财经大学信息学院，太原 030006
^5.山西中医药大学健康服务与管理学院，太原 030024

收稿日期:2021-05-27 修回日期:2021-09-12 接受日期:2021-10-14 发布日期:2021-12-28 出版日期:2022-04-10
通讯作者: 张鹏程
作者简介:李昆鹏（1996—），男，河南信阳人，硕士研究生，主要研究方向：医学图像重建、医学图像处理
上官宏（1988—），女，山西临汾人，副教授，博士，主要研究方向：模式识别、医学图像处理
王燕玲（1981—），女，山西吕梁人，讲师，博士，主要研究方向：医学图像处理、数据挖掘
杨婕（1982—），女，山西太原人，副教授，博士，主要研究方向：精准放射治疗方案优化
桂志国（1972—），男，天津蓟县人，教授，博士，主要研究方向：信号与信息处理、图像处理与识别、图像重建。
基金资助:
山西省自然科学基金资助项目(201901D211246);山西省回国留学人员科研资助项目(2016-089);生物医学成像与影像大数据山西省重点实验室基金资助项目(KF2020-60)

Time-frequency domain CT reconstruction algorithm based on convolutional neural network

Kunpeng LI¹^,², Pengcheng ZHANG¹^,²(), Hong SHANGGUAN³, Yanling WANG⁴, Jie YANG⁵, Zhiguo GUI¹^,²

^1.College of Information and Communication Engineering，North University of China，Taiyuan Shanxi 030051，China
^2.Shanxi Provincial Key Laboratory for Biomedical Imaging and Big Data （North University of China），Taiyuan Shanxi 030051，China
^3.College of Electronic Information Engineering，Taiyuan University of Science and Technology，Taiyuan Shanxi 030024，China
^4.School of Information，Shanxi University of Finance and Economics，Taiyuan Shanxi 030006，China
^5.College of Health Services and Management，Shanxi University of Chinese Medicine，Taiyuan Shanxi 030024，China

Received:2021-05-27 Revised:2021-09-12 Accepted:2021-10-14 Online:2021-12-28 Published:2022-04-10
Contact: Pengcheng ZHANG
About author:LI Kunpeng， born in 1996， M. S. candidate. His research interests include medical image reconstruction， medical image processing.
SHANGGUAN Hong， born in 1988， Ph. D.， associate professor. Her research interests include pattern recognition， medical image processing.
WANG Yanling， born in 1981， Ph. D.， lecturer. Her research interests include medical image processing， data mining.
YANG Jie， born in 1982， Ph. D.， associate professor. Her research interests include optimization of precision radiotherapy.
GUI Zhiguo， born in 1972， Ph. D.， professor. His research interests include signal and information processing， image processing and recognition， image reconstruction.
Supported by:
Natural Science Foundation of Shanxi Province(201901D211246);Scientific Research Funding Project for Returned Overseas Students of Shanxi Province(2016-089);Foundation of Shanxi Provincial Key Laboratory of Biomedical Imaging and Imaging Big Data(KF2020-60)

摘要/Abstract

摘要：

针对采用时域滤波器解析重建后图像存在伪影和图像细节丢失等问题，提出了一种基于卷积神经网络（CNN）的时频域计算机断层扫描（CT）重建算法。首先，在频域中构建了基于卷积神经网络的滤波器网络，实现投影数据的频域滤波；其次，利用反投影操作算子对频域滤波后结果进行域转换得到重建图像；接着，在图像域构建网络对来自反投影层的图像进行处理；最后，在采用最小均方误差损失函数基础上引入多尺度结构相似度损失函数组成复合损失函数，减轻神经网络对结果图像的模糊效应，保留重建图像细节。图像域网络和投影域滤波网络联合作用，最终得到重建结果。在临床数据集上验证了所提算法的有效性，相较于滤波反投影（FBP）算法、全变分（TV）算法及图像域残差编解码CNN（RED-CNN）算法，当投影数目分别为180和90时，所提算法重建结果图像信噪比（PSNR）和结构相似度（SSIM）最高，且归一化均方根误差（NMSE）最小；当投影数目为360时，所提算法仅次于TV算法。实验结果表明，所提算法可以提高CT图像重建图像质量，是一种可行且有效的方法。

关键词: 计算机断层扫描, 数据驱动, 卷积神经网络, 频域滤波, 图像重建

Abstract:

Concerning the problems of artifacts and loss of image details in the analytically reconstructed image by time-domain filters， a new time-frequency domain Computed Tomography （CT） reconstruction algorithm based on Convolutional Neural Network （CNN） was proposed. Firstly， a filter network based on a convolutional neural network was constructed in the frequency domain to achieve the frequency-domain filtering of the projection data. Secondly， the back-projection operator was used to perform domain conversion on the frequency-domain filtered result to obtain a reconstructed image. A network was constructed in the image domain to process the image from the back-projection layer. Finally， a multi-scale structural similarity loss function was introduced on the basis of the minimum mean square error loss function to form a composite loss function， which reduced the blur effect of the neural network on the result image and preserved the details of the reconstructed image. The image domain network and the projection domain filter network worked together to finally get the reconstructed result. The effectiveness of the proposed algorithm was verified on the clinical dataset. Compared with the Filtered Back Projection （FBP） algorithm， the Total Variation （TV） algorithm and the image domain Residual Encoder-Decoder CNN （RED-CNN） algorithm， when the number of projections is respectively 180 and 90， the proposed algorithm achieved the reconstructed result image with highest Peak Signal-to-Noise Ratio （PSNR） and Structural Similarity （SSIM）， and the least Normalized Mean Square Error （NMSE）.When the number of projections is 360，the proposed algorithm is second only to TV algorithm. The experimental results show that the proposed algorithm can improve the reconstructed image quality of CT image， and it is feasible and effective.

Key words: Computed Tomography (CT), data-driven, Convolutional Neural Network (CNN), frequency domain filtering, image reconstruction

中图分类号:

TP391.41

李昆鹏, 张鹏程, 上官宏, 王燕玲, 杨婕, 桂志国. 基于卷积神经网络的时频域CT重建算法[J]. 计算机应用, 2022, 42(4): 1308-1316.

Kunpeng LI, Pengcheng ZHANG, Hong SHANGGUAN, Yanling WANG, Jie YANG, Zhiguo GUI. Time-frequency domain CT reconstruction algorithm based on convolutional neural network[J]. Journal of Computer Applications, 2022, 42(4): 1308-1316.

图/表 13

图1 DDFre-Net结构

Fig. 1 DDFre-Net structure

图2 不同算法在投影数目为360时的重建结果对比

Fig. 2 Comparison of reconstruction results under 360 projections by different algorithms

图3 不同算法在投影数目为360时的重建结果残差图

Fig. 3 Difference images of reconstruction result under 360 projections by different algorithms

图4 不同算法在投影数目为180时的重建结果对比

Fig. 4 Comparison of reconstruction results under 180 projections by different algorithms

图5 不同算法在投影数目为180时的重建结果残差图

Fig. 5 Difference images of reconstruction result under 180 projection by different algorithms

图6 不同算法在投影数目为90时的重建结果对比

Fig. 6 Comparison of reconstruction results under 90 projections by different algorithms

图7 不同算法在投影数目为90时的重建结果残差图

Fig. 7 Difference images of reconstruction result under 90 projection by different algorithms

表1 不同算法单张图像重建耗时 (s)

Tab. 1 Reconstruction of time single image by different algorithms

算法	不同投影数目下的耗时
算法	360	180	90
FBP	0.020 6	0.014 7	0.009 3
TV	1 963.000 0	967.000 0	495.000 0
RED-CNN	0.064 9	0.060 2	0.054 5
本文算法	0.055 4	0.038 1	0.027 4

表2 不同算法测试集上指标对比

Tab. 2 Index comparison of different comparison algorithms under different projections

算法	投影数目为360			投影数目为180			投影数目为90
算法	PSNR/dB	SSIM	NMSE	PSNR/dB	SSIM	NMSE	PSNR/dB	SSIM	NMSE
FBP	15.167 9±0.801 9	0.277 0±0.016 0	0.721 9±0.218 7	12.126 7±0.601 2	0.200 2±0.014 4	1.441 9±0.397 0	9.468 6±0.539 0	0.147 2±0.015 3	2.643 6±0.703 1
TV	35.954 3±1.207 5	0.889 5±0.013 6	0.005 9±0.001 4	32.259 1±1.408 6	0.835 2±0.018 5	0.013 9±0.004 2	26.268 6±1.352 7	0.732 4±0.021 5	0.055 8±0.017 8
RED-CNN	34.176 9±1.146 1	0.827 9±0.022 8	0.009 0±0.003 0	31.347 0±0.628 7	0.738 3±0.013 1	0.017 3±0.004 8	28.944 5±1.800 8	0.661 9±0.045 5	0.034 4±0.034 7
本文算法	35.505 9±1.129 3	0.865 4±0.020 7	0.006 5±0.001 6	34.267 1±0.779 4	0.845 4±0.025 2	0.008 7±0.002 3	32.119 3±0.677 4	0.770 8±0.022 8	0.014 2±0.003 3

图8 DDFre-Net训练损失

Fig. 8 DFre-Net training loss

图9 不同算法在投影数目为360时的噪声数据集重建结果对比

Fig. 9 Comparison of reconstruction results under 360 projections on noisy dataset by different algorithms

图10 不同算法在投影数目为360时的噪声数据集重建结果残差图

Fig. 10 Difference images of reconstruction results under 360 projection on noisy dataset by different algorithms

表3 不同算法在360个投影数目下噪声数据集指标对比

Tab. 3 Index comparison by different algorithms under 360 projections on noisy datasets

算法	PSNR/dB	SSIM	NMSE
FBP	15.158 3±0.761 8	0.270 7±0.014 2	0.720 4±0.209 5
TV	34.503 8±1.314 3	0.842 7±0.019 2	0.008 2±0.002 0
RED-CNN	34.087 5±1.100 3	0.823 5±0.022 7	0.009 2±0.002 9
本文算法	34.959 6±0.941 8	0.843 8±0.020 1	0.007 5±0.002 1

参考文献 42

1	BRENNER D J， HALL E J. Computed tomography — an increasing source of radiation exposure ［J］. New England Journal of Medicine， 2007， 357（22）： 2277-2284. 10.1056/nejmra072149
2	SHEPP L A， LOGAN B F. The Fourier reconstruction of a head section ［J］. IEEE Transactions on Nuclear Science， 1974， 21（3）： 21-43. 10.1109/tns.1974.6499235
3	BATENBURG K J， PLANTAGIE L. Fast approximation of algebraic reconstruction methods for tomography ［J］. IEEE Transactions on Image Processing， 2012， 21（8）： 3648-3658. 10.1109/tip.2012.2197012
4	DING Q Q， LONG Y， ZHANG X Q， et al. Modeling mixed poisson-gaussian noise in statistical image reconstruction for X-ray CT ［C］// Proceedings of the 4th International Conference on Image Formation in X-Ray Computed Tomography. Piscataway： IEEE， 2018： 399-402.
5	YE S Q， RAVISHANKAR S， LONG Y， et al. Adaptive sparse modeling and shifted-poisson likelihood based approach for low-dose CT image reconstruction ［C］// Proceedings of the 2017 IEEE 27th International Workshop on Machine Learning for Signal Processing. Piscataway： IEEE， 2017： 1-6. 10.1109/mlsp.2017.8168124
6	DING Q Q， LONG Y， ZHANG X Q， et al. Statistical image reconstruction using mixed Poisson-Gaussian noise model for X-ray CT ［EB/OL］. ［2018-01-19］. .
7	YE S Q， RAVISHANKAR S， LONG Y， et al. SPULTRA： Low-dose CT image reconstruction with joint statistical and learned image models ［J］. IEEE Transactions on Medical Imaging， 2020， 39（3）： 729-741. 10.1109/tmi.2019.2934933
8	SIDKY E Y， PAN X C. Image reconstruction in circular cone-beam computed tomography by constrained， total-variation minimization［J］. Physics in Medicine & Biology， 2008， 53（17）： 4777-4807. 10.1088/0031-9155/53/17/021
9	NIU S Z， GAO Y， BIAN Z Y， et al. Sparse-view X-ray CT reconstruction via total generalized variation regularization ［J］. Physics in Medicine & Biology， 2014， 59（12）： 2997. 10.1088/0031-9155/59/12/2997
10	ZHANG H， HUANG J， MA J H， et al. Iterative reconstruction for X-ray computed tomography using prior-image induced nonlocal regularization ［J］. IEEE Transactions on Biomedical Engineering， 2014， 61（9）： 2367-2378. 10.1109/tbme.2013.2287244
11	XU Q， YU H， MOU X， et al. Low-dose X-ray CT reconstruction via dictionary learning［J］. IEEE Transactions on Medical Imaging， 2012， 31（9）： 1682-1697. 10.1109/tmi.2012.2195669
12	PALENSTIJN W J， BATENBURG K J， SIJBERS J. Performance improvements for iterative electron tomography reconstruction using Graphics Processing Units （GPUs）［J］. Journal of Structural Biology， 2011， 176（2）： 250-253. 10.1016/j.jsb.2011.07.017
13	ZHOU X Y， WEI G， FU W L， et al. Application of deep learning in object detection ［C］// Proceedings of the 2017 IEEE/ACIS 16th International Conference on Computer and Information Science. Piscataway： IEEE， 2017： 631-634. 10.1109/icis.2017.7960069
14	LIU W B， WANG Z D， LIU X H， et al. A survey of deep neural network architectures and their applications［J］. Neurocomputing， 2017， 234： 11-26. 10.1016/j.neucom.2016.12.038
15	LECUN Y， BENGIO Y， HINTON G. Deep learning ［J］. Nature， 2015， 521（7553）： 436-444. 10.1038/nature14539
16	ZHU B， LIU J Z， CAULEY S F， et al. Image reconstruction by domain-transform manifold learning ［J］. Nature， 2018， 555（7697）： 487-492. 10.1038/nature25988
17	LI Y S， LI K， ZHANG C Z， et al. Learning to reconstruct Computed Tomography （CT） images directly from sinogram data under a variety of data acquisition conditions［J］. IEEE Transactions on Medical Imaging， 2019， 38（10）： 2469-2481. 10.1109/tmi.2019.2910760
18	WU D F， KIM K S， FAKHRI G E， et al. Iterative low-dose CT reconstruction with priors trained by artificial neural network ［J］. IEEE Transactions on Medical Imaging， 2017， 36（12）： 2479-2486. 10.1109/tmi.2017.2753138
19	CHEN H， ZHANG Y， CHEN Y J， et al. LEARN： learned experts’ assessment-based reconstruction network for sparse-data CT ［J］. IEEE Transactions on Medical Imaging， 2018， 37（6）： 1333-1347. 10.1109/tmi.2018.2805692
20	GUPTA H， JIN K H， NGUYEN H Q， et al. CNN-based projected gradient descent for consistent image reconstruction［J］. IEEE Transactions on Medical Imaging， 2018， 37（6）： 1440-1453. 10.1109/tmi.2018.2832656
21	WANG J， ZENG L， WANG C， et al. ADMM-based deep reconstruction for limited-angle CT ［J］. Physics in Medicine & Biology， 2019， 64（11）： 115011. 10.1088/1361-6560/ab1aba
22	HE J， YANG Y， WANG Y B， et al. Optimizing a parameterized plug-and-play ADMM for iterative low-dose CT reconstruction ［J］. IEEE Transactions on Medical Imaging， 2019， 38（2）： 371-382. 10.1109/tmi.2018.2865202
23	DING Q， CHEN G， ZHANG X， et al. Low-dose CT with deep learning regularization via proximal forward-backward splitting［J］. Physics in Medicine & Biology， 2020， 65（12）： 125009. 10.1088/1361-6560/ab831a
24	ZHANG Q， HU Z， JIANG C， et al. Artifact removal using a hybrid-domain convolutional neural network for limited-angle computed tomography imaging［J］. Physics in Medicine & Biology， 2020， 65（15）： 155010. 10.1088/1361-6560/ab9066
25	ZHENG A， GAO H， ZHANG L， et al. A dual-domain deep learning-based reconstruction method for fully 3D sparse data helical CT ［J］. Physics in Medicine & Biology， 2020， 65（24）： 245030. 10.1088/1361-6560/ab8fc1
26	GE Y， SU T， ZHU J， et al. ADAPTIVE-NET： deep computed tomography reconstruction network with analytical domain transformation knowledge ［J］. Quantitative Imaging in Medicine and Surgery， 2020， 10（2）： 415-427. 10.21037/qims.2019.12.12
27	LIANG K C， YANG H K， XING Y X. Comparison of projection domain， domainimage， and comprehensive deep learning for sparse-view X-ray CT image reconstruction ［EB/OL］. ［2019-5-28］. .
28	LIN W A， LIAO H F， PENG C， et al. DuDoNet： dual domain network for CT metal artifact reduction ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 10504-10513. 10.1109/cvpr.2019.01076
29	WÜRFL T， HOFFMANN M， CHRISTLEIN V， et al. Deep learning computed tomography： learning projection-domain weights from image domain in limited angle problems［J］. IEEE Transactions on Medical Imaging， 2018， 37（6）： 1454-1463. 10.1109/tmi.2018.2833499
30	HE J， WANG Y， MA J. Radon inversion via deep learning ［J］. IEEE Transactions on Medical Imaging， 2020， 39（6）： 2076-2087. 10.1109/tmi.2020.2964266
31	ZENG G L. A filtered backprojection MAP algorithm with nonuniform sampling and noise modeling ［J］. Medical Physics， 2012， 39（4）： 2170-2178. 10.1118/1.3697736
32	PELT D M， BATENBURG K J. Improving filtered backprojection reconstruction by data-dependent filtering ［J］. IEEE Transactions on Image Processing， 2014， 23（11）： 4750-4762. 10.1109/tip.2014.2341971
33	曾更生. 医学图像重建［M］. 北京：高等教育出版社， 2009： 22-24. 10.1190/1.3603805
	ZENG G S. Medical Image Reconstruction ［M］. Beijing： Higher Education Press， 2009： 22-24. 10.1190/1.3603805
34	庄天戈. CT原理与算法［M］. 上海：上海交通大学出版社， 1992：38-48. 10.1007/978-1-4471-3275-2_19
	ZHUANG T G. CT Principle and Algorithm ［M］. Shanghai： Shanghai Jiao Tong University Press， 1992： 38-48. 10.1007/978-1-4471-3275-2_19
35	HU C， YI Z， KALRA M K， et al. Low-dose CT with a Residual Encoder-Decoder Convolutional Neural Network （RED-CNN）［J］. IEEE Transactions on Medical Imaging， 2017， 36（12）： 2524-2535. 10.1109/tmi.2017.2715284
36	GHANI M U， KARL W C. CNN based sinogram denoising for low-dose CT ［C］// Proceedings of the 2018 International Conference on Imaging and Applied Optics. Oriando，FL： OPTICA Publishing Group， 2018： MM2D.5. 10.1364/math.2018.mm2d.5
37	WHITELEY W， GREGOR J. CNN-based PET sinogram repair to mitigate defective block detectors ［J］. Physics in Medicine and Biology， 2019， 64（23）： 235017. 10.1088/1361-6560/ab4919
38	WANG B， LIU H. FBP-Net for direct reconstruction of dynamic PET images ［J］. Physics in Medicine & Biology， 2020， 65（23）： 235008. 10.1088/1361-6560/abc09d
39	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer， 2015： 234-241. 10.1007/978-3-319-24574-4_28
40	ZHAO H， GALLO O， FROSIO I， et al. Loss functions for image restoration with neural networks ［J］. IEEE Transactions on Computational Imaging， 2017，3（1）： 47-57. 10.1109/tci.2016.2644865
41	XIA W， LU Z， HUANG Y， et al. MAGIC： manifold and graph integrative convolutional network for low-dose CT reconstruction ［J］.IEEE Transactions on Medical Imaging， 2021，40（12）： 3459-3472. 10.1109/tmi.2021.3088344
42	BIGURI A， DOSANJH M， HANCOCK S， et al. TIGRE： a MATLAB-GPU toolbox for CBCT image reconstruction ［J］. Biomedical Physics & Engineering Express， 2016， 2（5）： 055010. 10.1088/2057-1976/2/5/055010

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[3]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[4]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[5]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[6]	高阳峄, 雷涛, 杜晓刚, 李岁永, 王营博, 闵重丹. 基于像素距离图和四维动态卷积网络的密集人群计数与定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2233-2242.
[7]	王东炜, 刘柏辰, 韩志, 王艳美, 唐延东. 基于低秩分解和向量量化的深度网络压缩方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1987-1994.
[8]	沈君凤, 周星辰, 汤灿. 基于改进的提示学习方法的双通道情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1796-1806.
[9]	姚迅, 秦忠正, 杨捷. 生成式标签对抗的文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1781-1785.
[10]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[11]	李健京, 李贯峰, 秦飞舟, 李卫军. 基于不确定知识图谱嵌入的多关系近似推理模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1751-1759.
[12]	席治远, 唐超, 童安炀, 王文剑. 基于双路时空网络的驾驶员行为识别[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1511-1519.
[13]	高文烁, 陈晓云. 基于节点结构的点云分类网络[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1471-1478.
[14]	魏凤凤, 陈伟能. 分布式数据驱动的多约束进化优化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1393-1400.
[15]	孙敏, 成倩, 丁希宁. 基于CBAM-CGRU-SVM的Android恶意软件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1539-1545.

基于卷积神经网络的时频域CT重建算法

Time-frequency domain CT reconstruction algorithm based on convolutional neural network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 42

相关文章 15

编辑推荐

Metrics