用于低剂量CT降噪的伪影感知生成对抗网络

doi:10.11772/j.issn.1001-9081.2021040700

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2301-2310.DOI: 10.11772/j.issn.1001-9081.2021040700

• 前沿与综合应用 • 上一篇

用于低剂量CT降噪的伪影感知生成对抗网络

韩泽芳, 张雄(), 上官宏, 韩兴隆, 韩静, 奉刚, 崔学英

太原科技大学电子信息工程学院，太原 030024

收稿日期:2021-05-06 修回日期:2021-10-08 接受日期:2021-10-12 发布日期:2022-07-15 出版日期:2022-07-10
通讯作者: 张雄
作者简介:韩泽芳（1996—），女，山西晋城人，硕士研究生，主要研究方向：医学图像处理
上官宏（1988—），女，山西乡宁人，副教授，博士，主要研究方向：模式识别、医学图像处理
韩兴隆（1995—），男，河南禹州人，硕士研究生，主要研究方向：医学图像处理
韩静（1998—），女，河北衡水人，硕士研究生，主要研究方向：医学图像处理
奉刚（1994—），男，四川南充人，硕士研究生，主要研究方向：医学图像处理
崔学英（1978—），女，山西太原人，副教授，博士，主要研究方向：图像处理与重建。
基金资助:
国家自然科学基金资助项目(62001321);山西省自然科学基金资助项目(201901D111261);山西省研究生教育创新项目(2020SY417)

Artifacts sensing generative adversarial network for low-dose CT denoising

Zefang HAN, Xiong ZHANG(), Hong SHANGGUAN, Xinglong HAN, Jing HAN, Gang FENG, Xueying CUI

School of Electronic Information Engineering，Taiyuan University of Science and Technology，Taiyuan Shanxi 030024，China

Received:2021-05-06 Revised:2021-10-08 Accepted:2021-10-12 Online:2022-07-15 Published:2022-07-10
Contact: Xiong ZHANG
About author:HAN Zefang， born in 1996， M. S. candidate. Her research interests include medical image processing.
SHANGGUAN Hong， born in 1988， Ph. D.， associate professor. Her research interests include pattern recognition， medical image processing.
HAN Xinglong， born in 1995， M. S. candidate. His research interest includes medical image processing.
HAN Jing， born in 1998， M. S. candidate. Her research interests include medical image processing.
FENG Gang， born in 1994， M. S. candidate. His research interests include medical image processing.
CUI Xueying， born in 1978， Ph. D.， associate professor. Her research interests include image processing and reconstruction.
Supported by:
National Natural Science Foundation of China(62001321);Natural Science Foundation of Shanxi Province(201901D111261);Graduate Education Innovation Project of Shanxi Province(2020SY417)

摘要/Abstract

摘要：

近年来，生成对抗网络（GAN）用于低剂量CT（LDCT）伪影抑制表现出一定性能优势，已成为该领域新的研究热点。由于伪影分布不规律且与正常组织位置息息相关，现有GAN网络的降噪性能受限。针对上述问题，提出了一种基于伪影感知GAN的LDCT降噪算法。首先，设计了伪影方向感知生成器，该生成器在U型残差编解码结构的基础上增加了伪影方向感知子模块（ADSS），从而提高生成器对伪影方向特征的敏感度；其次，设计了注意力判别器（AttD）来提高对噪声伪影的鉴别能力；最后，设计了与网络功能相对应的损失函数，通过多种损失函数协同作用来提高网络的降噪性能。实验结果表明，与高频敏感GAN（HFSGAN）相比，该降噪算法的平均峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了4.9%和2.8%，伪影抑制效果良好。

关键词: 低剂量断层扫描成像, 图像降噪, 生成对抗网络, 方向卷积, 注意力机制

Abstract:

In recent years， Generative Adversarial Network （GAN） has become a new research hotspot in Low-Dose Computed Tomography （LDCT） artifact suppression because of its performance advantages. Due to irregular distribution and strong relevance to the normal tissues of artifacts， denoising performance of the existing GAN-based denoising networks is limited. Aiming at this problem， a LDCT denoising algorithm based on artifacts sensing GAN was proposed. Firstly， an artifacts direction sensing generator was designed. In this generator， on the basis of U-residual encoding and decoding structure， an Artifacts Direction Sensing Sub-module （ADSS） was added to improve the generator’s sensitivity to artifacts direction features. Secondly， the Attention Discriminator （AttD） was designed to improve the ability of distinguishing noise and artifacts. Finally， the loss functions corresponding to the network functions were designed. Through the cooperation of multiple loss functions， the denoising performance of network was improved. Experimental results show that compared to the High-Frequency Sensitive GAN （HFSGAN）， the proposed denoising algorithm has the average Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） improved by 4.9% and 2.8% respectively， and has good artifact suppression effect.

Key words: Low-Dose Computed Tomography （LDCT）, image denoising, Generative Adversarial Network （GAN）, orientation convolution, attention mechanism

中图分类号:

TP391.41

韩泽芳, 张雄, 上官宏, 韩兴隆, 韩静, 奉刚, 崔学英. 用于低剂量CT降噪的伪影感知生成对抗网络[J]. 计算机应用, 2022, 42(7): 2301-2310.

Zefang HAN, Xiong ZHANG, Hong SHANGGUAN, Xinglong HAN, Jing HAN, Gang FENG, Xueying CUI. Artifacts sensing generative adversarial network for low-dose CT denoising[J]. Journal of Computer Applications, 2022, 42(7): 2301-2310.

图/表 15

图1 本文降噪算法整体框架

Fig.1 Overall framework of the proposed denoising algorithm

图2 不同损失函数的收敛曲线

Fig.2 Convergence curves of different loss functions

图3 6种降噪算法对带有低衰减病变的腹部LDCT图像的可视化降噪结果

Fig.3 Visual denoised results of six denoising algorithms for abdominal LDCT image with low-attenuation lesion

图4 6种降噪算法对组织结构非常丰富的腹部LDCT图像的可视化降噪结果

Fig.4 Visual denoised results of six denoising algorithms on abdominal LDCT image with very rich tissue structure

图5 图4所示降噪图像的局部ROI3放大图

Fig.5 Local ROI3 enlarged diagrams of denoised results shown in Fig. 4

图6 6种降噪算法对受严重横条状伪影污染的胸部LDCT图像的可视化降噪结果

Fig.6 Denoised results of six denoising algorithms for chest LDCT image contaminated by severe horizontal artifacts

图7 LDCT与6种降噪算法对图6所示降噪结果的差值图

Fig.7 Difference images between LDCT and six algorithms’ denoised results shown in Fig. 6

图8 NDCT与6种降噪算法对图6所示降噪结果的差值图

Fig.8 Difference images between NDCT and six algorithms’ denoised results shown in Fig. 6

表1 不同算法在整个测试集上获取的降噪结果的平均量化指标值统计表（均值±标准差）

Tab.1 Statistical table of average quantization index values of denoised results obtained by different algorithms in whole testing dataset （mean±standard deviation）

算法	PSNR/dB	SSIM	VIF	IFC
LDCT	26.789 1±1.978 2	0.810 0±0.053 5	0.364 2±0.057 9	2.416 2±0.243 6
BM3D	30.261 8±1.712 8	0.856 6±0.040 8	0.385 4±0.047 7	2.584 8±0.222 1
RED-CNN	30.511 4±1.764 7	0.866 0±0.041 8	0.390 2±0.059 9	2.602 2±0.230 5
pix2pix	28.318 3±1.659 9	0.811 1±0.054 5	0.334 2±0.054 3	2.209 1±0.203 7
HFSGAN	30.081 8±1.588 9	0.852 7±0.044 5	0.373 3±0.052 7	2.504 5±0.202 7
SiameseGAN	29.443 9±1.535 0	0.861 7±0.042 2	0.391 1±0.056 0	2.678 6±0.233 0
本文算法	31.543 2±1.720 8	0.876 4±0.040 9	0.426 2±0.058 3	2.934 8±0.249 1

图9 不同算法在整个测试集上获取的降噪结果的箱型图

Fig.9 Boxplots of different algorithms’ denoised results in whole testing dataset

表2 图3~6的4个ROI上的平均PSNR和SSIM值（均值±标准差）

Tab.2 Average PSNR and SSIM values on 4 ROIs in Fig. 3 to Fig. 6 （mean±standard deviation）

算法	SSIM	PSNR/dB	VIF	IFC
LDCT	0.489 9±0.124 1	19.990 5±3.928 5	0.163 8±0.040 1	1.486 1±0.561 7
BM3D	0.576 2±0.142 6	23.114 4±5.698 5	0.232 4±0.063 6	1.469 8±0.516 8
RED-CNN	0.626 8±0.092 0	23.805 8±5.118 5	0.252 7±0.051 5	1.590 3±0.506 0
pix2pix	0.489 0±0.109 0	21.754 8±3.626 2	0.152 3±0.046 1	1.160 2±0.558 5
HFSGAN	0.603 4±0.092 4	23.786 1±4.189 9	0.227 9±0.039 1	1.451 2±0.541 2
SiameseGAN	0.623 6±0.083 8	22.832 6±3.507 1	0.244 7±0.035 7	1.390 5±0.943 1
本文算法	0.651 7±0.079 3	24.962 8±4.310 1	0.306 4±0.044 4	1.729 2±0.468 5

图10 不同算法降噪结果与NDCT（或LDCT）的差值图与理想伪影图的均方误差值

Fig.10 Mean squared error values of difference maps between different denoised results of algorithms and NDCT （or LDCT） and ideal artifact diagrams

图11 消融算法降噪图像视觉效果对比

Fig. 11 Visual effect comparison of denoised images using ablation algorithms

表3 网络结构消融对算法性能的影响

Tab.3 Influence of network structure ablation on algorithm performance

算法	子模块			平均SSIM	平均PSNR/dB
算法	ADSS	URED	AttD	平均SSIM	平均PSNR/dB
w/o AttD+URED+ADSS				0.874 7	31.378 0
w/o AttD+URED	√			0.874 6	31.390 6
w/o AttD	√	√		0.876 5	31.521 6
本文算法	√	√	√	0.876 4	31.543 2

表4 6种算法的训练与测试时间比较

Tab.4 Comparison of training and testing time of six algorithms

算法	训练时间/s	每幅测试时间/s	参数量	迭代次数
BM3D	—	1.207 8	—	—
RED-CNN	674.68	0.104 1	1 848 865	30
pix2pix	4 740.58	0.067 9	57 190 084	30
HFSGAN	6 522.60	0.075 1	108 877 962	30
SiameseGAN	55 635.40	0.047 5	86 829 640	30
本文算法	32 177.65	0.053 5	35 285 594	30

参考文献 38

1	张权.低剂量X线CT重建若干问题研究［D］. 南京：东南大学， 2015：1. 10.7666/d.Y2977255
	ZHANG Q. A study on some problems in image reconstruction for low-dose CT system［D］. Nanjing： Southeast University， 2015：1. 10.7666/d.Y2977255
2	ALIASGHARZADEH A， MIHANDOOST E， MOHSENI M. A survey of computed tomography dose index and dose length product level in usual computed tomography protocol［J］. Journal of Cancer Research and Therapeutics， 2018， 14（3）： 549. 10.4103/0973-1482.172713
3	BUADES A， COLL B， MOREL J M. A non-local algorithm for image denoising［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005： 60-65.
4	FERUGLIO P F， VINEGONI C， GROS J， et al. Block matching 3D random noise filtering for absorption optical projection tomography［J］. Physics in Medicine and Biology， 2010， 55（18）： No.5401. 10.1088/0031-9155/55/18/009
5	代晓婷，龚敬，聂生东. 基于结构联合字典的肺部LDCT图像降噪［J］. 电子学报， 2018， 46（6）：1445-1453. 10.3969/j.issn.0372-2112.2018.06.025
	DAI X T， GONG J， NIE S D. Low-dose lung CT image denoising using joint structural dictionary［J］. Acta Electronica Sinica， 2018， 46（6）：1445-1453. 10.3969/j.issn.0372-2112.2018.06.025
6	CHEN W B， SHAO Y L， JIA L N， et al. Low-dose CT image denoising model based on sparse representation by stationarily classified sub-dictionaries［J］. IEEE Access， 2019， 7： 116859-116874. 10.1109/access.2019.2932754
7	LIU W B， WANG Z D， LIU X H， et al. A survey of deep neural network architectures and their applications［J］. Neurocomputing， 2017， 234： 11-26. 10.1016/j.neucom.2016.12.038
8	CHEN H， ZHANG Y， ZHANG W H， et al. Low-dose CT via convolutional neural network［J］. Biomedical Optics Express， 2017， 8（2）： 679-694. 10.1364/boe.8.000679
9	SHAN H M， ZHANG Y， YANG Q S， et al. 3-D convolutional encoder-decoder network for low-dose CT via transfer learning from a 2-D trained network［J］. IEEE Transactions on Medical Imaging， 2018， 37（6）： 1522-1534. 10.1109/tmi.2018.2832217
10	CHEN H， ZHANG Y， KALRA M K， et al. Low-dose CT with a residual encoder-decoder convolutional neural network［J］. IEEE Transactions on Medical Imaging， 2017， 36（12）： 2524-2535. 10.1109/tmi.2017.2715284
11	WU D F， KIM K， FAKHRI G EL， et al. A cascaded convolutional neural network for X-ray low-dose CT image denoising［EB/OL］. （2017-08-28）［2021-04-20］..
12	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
13	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944. 10.1109/cvpr.2017.106
14	YANG Q S， YAN P K， KALRA M K， et al. CT image denoising with perceptive deep neural networks［EB/OL］. （2017-02-22）［2021-04-20］.. 10.1007/978-3-030-13969-8_14
15	LIU H Y， JIANG B， SONG Y B， et al. Rethinking image inpainting via a mutual encoder-decoder with feature equalizations［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12347. Cham： Springer， 2020： 725-741.
16	GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.
17	WOLTERINK J M， LEINER T， VIERGEVER M A， et al. Generative adversarial networks for noise reduction in low-dose CT［J］. IEEE Transactions on Medical Imaging， 2017， 36（12）：2536-2545. 10.1109/tmi.2017.2708987
18	YI X， BABYN P. Sharpness-aware low-dose CT denoising using conditional generative adversarial network［J］. Journal of Digital Imaging， 2018， 31（5）： 655-669. 10.1007/s10278-018-0056-0
19	DENTON E， CHINTALA S， SZLAM A， et al. Deep generative image models using a Laplacian pyramid of adversarial networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 1486-1494.
20	ZHANG H， XU T， LI H S， et al. StackGAN： text to photo-realistic image synthesis with stacked generative adversarial networks［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 5908-5916. 10.1109/iccv.2017.629
21	LI M， HSU W， XIE X D， et al. SACNN： self-attention convolutional neural network for low-dose CT denoising with self-supervised perceptual loss network［J］. IEEE Transactions on Medical Imaging， 2020， 39（7）：2289-2301. 10.1109/tmi.2020.2968472
22	ISOLA P， ZHU J Y， ZHOU T H， et al. Image-to-image translation with conditional adversarial networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5967-5976. 10.1109/cvpr.2017.632
23	YANG L， SHANGGUAN H， ZHANG X， et al. High-frequency sensitive generative adversarial network for low-dose CT image denoising［J］. IEEE Access， 2020， 8： 930-943. 10.1109/access.2019.2961983
24	HUANG X S， LI S Z， WANG Y S. Jensen-Shannon boosting learning for object recognition［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005： 144-149.
25	ARJOVSKY M， CHINTALA S， BOTTOU L. Wasserstein GAN［EB/OL］. （2017-12-06）［2021-04-20］..
26	YANG Q S， YAN P K， ZHANG Y B， et al. Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss［J］. IEEE Transactions on Medical Imaging， 2018， 37（6）： 1348-1357. 10.1109/tmi.2018.2827462
27	LI X L， YE C， YAN Y J， et al. Low-dose CT image denoising based on improved WGAN-gp［J］. Journal of New Media， 2019， 1（2）： 75-85. 10.32604/jnm.2019.06259
28	GULRAJANI I， AHMED F， ARJOVSKY M， et al. Improved training of Wasserstein GANs［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5769-5779.
29	MAO X D， LI Q， XIE H R， et al. Least squares generative adversarial networks［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2813-2821. 10.1109/iccv.2017.304
30	PARK H S， BAEK J， YOU S K， et al. Unpaired image denoising using a generative adversarial network in X-ray CT［J］. IEEE Access， 2019， 7：110414-110425. 10.1109/access.2019.2934178
31	American Association of Physicists in Medicine. Low dose CT grand challenge［DS/OL］. ［2021-04-20］.. 10.1118/1.4957556
32	THOMAS L， SLOVIS M D. The ALARA （as low as reasonably achievable） concept in pediatric CT intelligent dose reduction［J］. Pediatric Radiology， 2002， 32（4）： 219-220.
33	KANDE N A， DAKHANE R， DUKKIPATI A， et al. SiameseGAN： a generative model for denoising of spectral domain optical coherence tomography images［J］. IEEE Transactions on Medical Imaging， 2021， 40（1）： 180-192. 10.1109/tmi.2020.3024097
34	YAO S S， LIN W S， OOG E P， et al. Contrast signal-to-noise ratio for image quality assessment［C］// Proceedings of the 2005 IEEE International Conference on Image Processing. Piscataway： IEEE， 2005： 1529771. 10.1109/icip.2005.1529771
35	WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612. 10.1109/tip.2003.819861
36	SHEIKH H R， BOVIK A C. Image information and visual quality［J］. IEEE Transactions on Image Processing， 2006， 15（2）： 430-444. 10.1109/tip.2005.859378
37	SHEIKH H R， BOVIK A C， DE VECIANA G. An information fidelity criterion for image quality assessment using natural scene statistics［J］. IEEE Transactions on Image Processing， 2005， 14（12）： 2117-2128. 10.1109/tip.2005.859389
38	KINGMA D P， BA J L. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30）［2021-04-20］..

[1]	刘万军, 王佳铭, 曲海成, 董利兵, 曹欣宇. 基于频谱空间域特征注意的音乐流派分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2072-2077.
[2]	凡文俊, 赵曙光, 郭力争. 基于改进RetinaNet的船舶检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2248-2255.
[3]	王海起, 王志海, 李留珂, 孔浩然, 王琼, 徐建波. 基于网格划分的城市短时交通流量时空预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2274-2280.
[4]	左亚尧, 陈皓宇, 陈致然, 洪嘉伟, 陈坤. 融合多语义特征的命名实体识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2001-2008.
[5]	秦庭威, 赵鹏程, 秦品乐, 曾建朝, 柴锐, 黄永琦. 基于残差注意力机制的点云配准算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2184-2191.
[6]	黄诚, 赵倩锐. 基于语言模型词嵌入和注意力机制的敏感信息检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2009-2014.
[7]	李晓寒, 王俊, 贾华丁, 萧刘. 基于多重注意力机制的图神经网络股市波动预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2265-2273.
[8]	刘博, 卿粼波, 王正勇, 刘美, 姜雪. 基于分块注意力机制和交互位置关系的群组活动识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2052-2057.
[9]	周嘉凡, 杜岳峰, 宋宝燕, 李晓光, 赵阿珠, 肖绪界. 基于元路径注意力机制的MOOC视频推荐方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1808-1813.
[10]	张杨, 郝江波. 基于注意力机制和残差网络的恶意代码检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1708-1715.
[11]	苏珊, 张杨, 张冬雯. 基于深度学习的耦合度相关代码坏味检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1702-1707.
[12]	李佳, 郑元林, 廖开阳, 楼豪杰, 李世宇, 陈泽豪. 基于显著性深层特征的无参考图像质量评价算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1957-1964.
[13]	杨先凤, 赵家和, 李自强. 融合字注释的文本分类模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1317-1323.
[14]	胡鹤轩, 隋华超, 胡强, 张晔, 胡震云, 马能武. 基于图注意力网络与双阶注意力机制的径流预报模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1607-1615.
[15]	陈代丽, 许国良. 基于注意力机制学习域内变化的跨域行人重识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1391-1397.

用于低剂量CT降噪的伪影感知生成对抗网络

Artifacts sensing generative adversarial network for low-dose CT denoising

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 38

相关文章 15

编辑推荐

Metrics