基于残差编解码-生成对抗网络的正弦图修复的稀疏角度锥束CT图像重建

doi:10.11772/j.issn.1001-9081.2022050773

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (6): 1950-1957.DOI: 10.11772/j.issn.1001-9081.2022050773

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于残差编解码-生成对抗网络的正弦图修复的稀疏角度锥束CT图像重建

靳鑫¹^,², 刘仰川², 朱叶晨², 张子健³, 高欣¹^,²()

^1.中国科学技术大学生物医学工程学院(苏州) 生命科学与医学部, 江苏苏州 215009
^2.中国科学院苏州生物医学工程技术研究所, 江苏苏州 215163
^3.中南大学湘雅医院肿瘤科, 长沙 410008

收稿日期:2022-05-31 修回日期:2022-08-31 接受日期:2022-09-12 发布日期:2023-06-08 出版日期:2023-06-10
通讯作者: 高欣
作者简介:靳鑫（1996—），男，河南南阳人，博士研究生，主要研究方向：医学图像处理
刘仰川（1987—），男，山东济宁人，副研究员，博士，主要研究方向：X射线断层成像（CT）
朱叶晨（1993—），男，江苏苏州人，助理研究员，硕士，主要研究方向：CT图像重建及伪影校正
张子健（1986—），男，湖南郴州人，主管技师，硕士，主要研究方向：医学图像处理
高欣（1975—），男，吉林吉林人，研究员，博士，主要研究方向：低剂量锥束CT、基于智能计算的精准医疗、手术导航及机器人Email：xingaosam@163.com。
基金资助:
国家自然科学基金资助项目(81871439);山东省重点研发计划项目(2021SFGC0104);江苏省重点研发计划项目(BE2021663);苏州市科技计划项目(SJC20211014)

Sinogram inpainting for sparse-view cone-beam computed tomography image reconstruction based on residual encoder-decoder generative adversarial network

Xin JIN¹^,², Yangchuan LIU², Yechen ZHU², Zijian ZHANG³, Xin GAO¹^,²()

^1.Division of Life Sciences and Medicine，School of Biomedical Engineering （Suzhou），University of Science and Technology of China，Suzhou Jiangsu 215009，China
^2.Suzhou Institute of Biomedical Engineering and Technology，Chinese Academy of Sciences，Suzhou Jiangsu 215163，China
^3.Department of Oncology，Xiangya Hospital，Central South University，Changsha Hunan 410008，China

Received:2022-05-31 Revised:2022-08-31 Accepted:2022-09-12 Online:2023-06-08 Published:2023-06-10
Contact: Xin GAO
About author:JIN Xin， born in 1996， Ph. D. candidate. His research interests include medical image processing.
LIU Yangchuan， born in 1987， Ph. D.， associate research fellow. His research interests include X-ray Computed Tomography （CT）.
ZHU Yechen， born in 1993， M. S.， assistant research fellow. His research interests include CT image processing and artifact reconstruction.
ZHANG Zijian， born in 1986， M. S.， technician in charge. His research interests include medical image processing.
Supported by:
National Natural Science Foundation of China(81871439);Key Research and Development Program of Shandong Province(2021SFGC0104);Key Research and Development Program of Jiangsu Province(BE2021663);Suzhou Science and Technology Program(SJC20211014)

摘要/Abstract

摘要：

稀疏投影可有效缩短锥束CT（CBCT）扫描剂量和扫描时间，但会导致重建图像中出现大量条状伪影。正弦图修复可以生成缺失角度的投影数据，并提高重建图像质量。基于这些，提出了一种用于稀疏角度CBCT重建的正弦图修复的残差编解码-生成对抗网络（RED-GAN）。该网络利用残差编解码结构（RED）模块替换Pix2pixGAN（Pix2pix Generative Adversarial Network）中的U-Net生成器，并利用基于PatchGAN（Patch Generative Adversarial Network）的条件判别器鉴别修复后的正弦图和真实正弦图，从而进一步提升网络性能。利用真实CBCT投影数据进行网络训练后，分别在1/2、1/3、1/4稀疏采样条件下测试所提网络，并把RED-GAN与线性插值法、残差编解码-卷积神经网络（RED-CNN）和Pix2pixGAN对比。实验结果表明，RED-GAN的正弦图修复结果在3种条件下均优于对比方法，并在1/4稀疏采样条件下所提网络的优势最为明显。在正弦图域中，RED-GAN的均方根误差（RMSE）下降了7.2%，峰值信噪比（PSNR）上升了1.5%，结构相似性（SSIM）上升了1.4%；在重建图像域中，RMSE下降了5.4%，PSNR上升了1.6%，SSIM上升了1.0%。可见，RED-GAN适用于高质量的稀疏角度CBCT重建，在快速低剂量CBCT扫描领域具有潜在的应用价值。

关键词: 锥束CT, 稀疏角度, 正弦图修复, 生成对抗网络, 深度学习

Abstract:

Sparse-view projection can reduce the scan does and scan time of Cone-Beam Computed Tomography （CBCT） effectively but brings a lot of streak artifacts to the reconstructed images. Sinogram inpainting can generate projection data for missing angles and improve the quality of reconstructed images. Based on the above， a Residual Encoder-Decoder Generative Adversarial Network （RED-GAN） was proposed for sinogram inpainting to reconstruct sparse-view CBCT images. In this network， the U-Net generator in Pix2pixGAN （Pix2pix Generative Adversarial Network） was replaced with the Residual Encoder-Decoder （RED） module. In addition， the conditional discriminator based on PatchGAN （Patch Generative Adversarial Network） was used to distinguish between the repaired sinograms from the real sinograms， thereby further improving the network performance. After the network training using real CBCT projection data， the proposed network was tested under 1/2， 1/3 and 1/4 sparse-view sampling conditions， and compared with linear interpolation method， Residual Encoder-Decoder Convolutional Neural Network （RED-CNN） and Pix2pixGAN. Experimental results indicate that the sinogram inpainting results of RED-GAN are better than those of the comparison methods under all the three conditions. Under the 1/4 sparse-view sampling condition， the proposed network has the most obvious advantages. In the sinogram domain， the proposed network has the Root Mean Square Error （RMSE） decreased by 7.2%， Peak Signal-to-Noise Ratio （PSNR） increased by 1.5% and Structural Similarity （SSIM） increased by 1.4%； in the reconstructed image domain， the proposed network has the RMSE decreased by 5.4%， PSNR increased by 1.6% and SSIM increased by 1.0%. It can be seen that RED-GAN is suitable for high-quality CBCT reconstruction and has potential application value in the field of fast low-dose CBCT scanning.

Key words: Cone-Beam Computed Tomography (CBCT), sparse-view, sinogram inpainting, Generative Adversarial Network (GAN), deep learning

中图分类号:

TP391.4

靳鑫, 刘仰川, 朱叶晨, 张子健, 高欣. 基于残差编解码-生成对抗网络的正弦图修复的稀疏角度锥束CT图像重建[J]. 计算机应用, 2023, 43(6): 1950-1957.

Xin JIN, Yangchuan LIU, Yechen ZHU, Zijian ZHANG, Xin GAO. Sinogram inpainting for sparse-view cone-beam computed tomography image reconstruction based on residual encoder-decoder generative adversarial network[J]. Journal of Computer Applications, 2023, 43(6): 1950-1957.

图/表 10

图1 CBCT扫描原理和配对数据构建流程

Fig.1 CBCT scanning principle and paired data construction flow

图2 RED-GAN训练流程

Fig.2 Training flow of RED-GAN

图3 RED-GAN性能评价流程

Fig.3 Performance evaluation flow of RED-GAN

图4 Pix2pixGAN的结构

Fig.4 Structure of Pix2pixGAN

图5 RED-GAN结构

Fig.5 Structure of RED-GAN

表1 不同稀疏采样条件下正弦图修复结果对比

Tab. 1 Comparison of sinogram inpainting results under different sparse-view sampling conditions

稀疏采样因子η	真实数据比例	修复方法	RMSE	PSNR/dB	SSIM
4	1/4	LI	111.6	44.8	0.795 8
		RED-CNN	103.2	45.3	0.814 8
		Pix2pixGAN	81.4	47.3	0.837 6
		RED-GAN	75.5	48.0	0.8492
3	1/3	LI	95.6	46.2	0.814 6
		RED-CNN	85.8	47.0	0.833 6
		Pix2pixGAN	84.4	47.0	0.821 0
		RED-GAN	84.3	47.2	0.8360
2	1/2	LI	81.0	48.0	0.838 2
		RED-CNN	69.3	49.2	0.859 9
		Pix2pixGAN	79.0	48.1	0.837 4
		RED-GAN	68.5	49.3	0.8633

表2 不同稀疏采样条件下重建图像修复结果对比

Tab. 2 Comparison of reconstructed image inpainting results under different sparse-view sampling conditions

稀疏采样因子η	真实数据比例	修复方法	RMSE	PSNR/dB	SSIM
4	1/4	LI	0.102 0	25.9	0.846 2
		RED-CNN	0.004 8	28.9	0.884 2
		Pix2pixGAN	0.003 7	31.0	0.902 0
		RED-GAN	0.0035	31.5	0.9108
3	1/3	LI	0.004 3	30.3	0.903 2
		RED-CNN	0.003 8	31.4	0.919 2
		Pix2pixGAN	0.003 8	31.4	0.910 2
		RED-GAN	0.0037	31.5	0.9204
2	1/2	LI	0.003 4	31.8	0.922 3
		RED-CNN	0.002 8	33.6	0.941 0
		Pix2pixGAN	0.003 1	32.7	0.927 3
		RED-GAN	0.0027	33.7	0.9420

图6 1/4稀疏采样条件下修复重建图像对比

Fig.6 Comparison of inpainted reconstructed images under 1/4 sparse-view sampling condition

图7 1/3稀疏采样条件下修复重建图像对比

Fig.7 Comparison of inpainted reconstructed images under 1/3 sparse-view sampling condition

图8 1/2稀疏采样条件下修复重建图像对比

Fig.8 Comparison of inpainted reconstructed images under 1/2 sparse-view sampling condition

参考文献 21

1	MOHAN K A， VENKATAKRISHNAN S V， GIBBS J W， et al. TIMBIR： a method for time-space reconstruction from interlaced views ［J］. IEEE Transactions on Computational Imaging， 2015， 1（2）： 96-111. 10.1109/tci.2015.2431913
2	KALKE M， SILTANEN S. Sinogram interpolation method for sparse-angle tomography ［J］. Applied Mathematics， 2014， 5（3）：423-441.
3	KIM H G， YOO H. Image enhancement for computed tomography using directional interpolation for sparsely-sampled sinogram［J］. Optik， 2018， 166： 227-235. 10.1016/j.ijleo.2018.03.139
4	KÖSTLER H， PRÜMMER M， RÜDE U， et al. Adaptive variational sinogram interpolation of sparsely sampled CT data ［C］// Proceedings of the 18th International Conference on Pattern Recognition. Piscataway： IEEE， 2006， 3： 778-781. 10.1109/icpr.2006.225
5	HERRAIZ J L， ESPANA S， VICENTE E， et al. Frequency selective signal extrapolation for compensation of missing data in sinograms［C］// Proceedings of the 2008 IEEE Nuclear Science Symposium/ Medical Imaging Conference/ 16th International Workshop on Room-Temperature Semiconductor X- and Gamma-ray Detectors’ Conference Record. Piscataway： IEEE， 2008： 4299-4302. 10.1109/nssmic.2008.4774234
6	李昆鹏，张鹏程，上官宏，等. 基于卷积神经网络的时频域CT重建算法［J］. 计算机应用， 2022， 42（4）： 1308-1316. 10.11772/j.issn.1001-9081.2021050876
	LI K P， ZHANG P C， SHANGGUAN H， et al. Time-frequency domain CT reconstruction algorithm based on convolutional neural network ［J］. Journal of Computer Applications， 2022， 42（4）：1308-1316. 10.11772/j.issn.1001-9081.2021050876
7	LEE H， LEE J， KIM H， et al. Deep-neural-network-based sinogram synthesis for sparse-view CT image reconstruction［J］. IEEE Transactions on Radiation and Plasma Medical Sciences， 2019， 3（2）： 109-119. 10.1109/trpms.2018.2867611
8	HAN Y， YE J C. Framing U-Net via deep convolutional framelets： application to sparse-view CT ［J］. IEEE Transactions on Medical Imaging， 2018， 37（6）： 1418-1429. 10.1109/tmi.2018.2823768
9	张艳娇，乔志伟. 基于多残差UNet的CT图像高精度稀疏重建［J］. 计算机应用， 2021， 41（10）：2964-2969. 10.11772/j.issn.1001-9081.2020121985
	ZHANG Y J， QIAO Z W. High-precision sparse reconstruction of CT images based on multiply residual UNet［J］. Journal of Computer Applications， 2021， 41（10）：2964-2969. 10.11772/j.issn.1001-9081.2020121985
10	BERTRAM M， WIEGERT J， SCHAFER D， et al. Directional view interpolation for compensation of sparse angular sampling in cone-beam CT ［J］. IEEE Transactions on Medical Imaging， 2009， 28（7）： 1011-1022. 10.1109/tmi.2008.2011550
11	ZHANG H， SONKE J J. Directional sinogram interpolation for sparse angular acquisition in cone-beam computed tomography［J］. Journal of X-Ray Science and Technology， 2013， 21（4）： 481-496. 10.3233/xst-130401
12	ODENA A， DUMOULIN V， OLAH C. Deconvolution and checkerboard artifacts ［J/OL］. Distill， 2016 ［2022-10-27］..
13	CHEN H， ZHANG Y， KALRA M K， et al. Low-dose CT with a residual encoder-decoder convolutional neural network ［J］. IEEE Transactions on Medical Imaging， 2017， 36（12）： 2524-2535. 10.1109/tmi.2017.2715284
14	JIANG Z R， CHEN Y X， ZHANG Y W， et al. Augmentation of CBCT reconstructed from under-sampled projections using deep learning ［J］. IEEE Transactions on Medical Imaging， 2019， 38（11）： 2705-2715. 10.1109/tmi.2019.2912791
15	LIAO H F， HUO Z M， SEHNERT W J， et al. Adversarial sparse-view CBCT artifact reduction［C］// Proceedings of the 2018 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11070. Cham： Springer， 2018： 154-162.
16	MAO X D， LI Q， XIE H R， et al. Least squares generative adversarial networks［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2813-2821. 10.1109/iccv.2017.304
17	YI X， BABYN P. Sharpness-aware low-dose CT denoising using conditional generative adversarial network ［J］. Journal of Digital Imaging， 2018， 31（5）： 655-669. 10.1007/s10278-018-0056-0
18	DAI X B， BAI J N， LIU T L， et al. Limited-view cone-beam CT reconstruction based on an adversarial autoencoder network with joint loss ［J］. IEEE Access， 2019， 7： 7104-7116. 10.1109/access.2018.2890135
19	PATHAK D， KRÄHENBÜHL P， DONAHUE J， et al. Context encoders： feature learning by inpainting ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2536-2544. 10.1109/cvpr.2016.278
20	ISOLA P， ZHU J Y， ZHOU T H， et al. Image-to-image translation with conditional adversarial networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5967-5976. 10.1109/cvpr.2017.632
21	DER SARKISSIAN H， LUCKA F， van EIJNATTEN M， et al. A cone-beam X-ray computed tomography data collection designed for machine learning ［J］. Scientific Data， 2019， 6： No.215. 10.1038/s41597-019-0235-y

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[3]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[4]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[5]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[6]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[7]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[8]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[9]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.
[10]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[11]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[12]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.
[13]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[14]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[15]	张郅, 李欣, 叶乃夫, 胡凯茜. 基于暗知识保护的模型窃取防御技术DKP[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2080-2086.

基于残差编解码-生成对抗网络的正弦图修复的稀疏角度锥束CT图像重建

Sinogram inpainting for sparse-view cone-beam computed tomography image reconstruction based on residual encoder-decoder generative adversarial network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 21

相关文章 15

编辑推荐

Metrics