生成对抗网络下的低剂量CT图像增强

doi:10.11772/j.issn.1001-9081.2021101710

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (1): 280-288.DOI: 10.11772/j.issn.1001-9081.2021101710

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

生成对抗网络下的低剂量CT图像增强

胡紫琪^1,2,3, 谢凯^1,2,3, 文畅^3,4, 李美然¹, 贺建飚⁵

1.长江大学电子信息学院,湖北荆州 434023
2.长江大学电工电子国家级实验教学示范中心,湖北荆州 434023
3.长江大学西部研究院,新疆克拉玛依 834099
4.长江大学计算机科学学院,湖北荆州 434023
5.中南大学计算机学院,长沙410083

收稿日期:2021-10-08 修回日期:2022-01-13 发布日期:2023-01-12
作者简介:胡紫琪（1997—），男，湖北黄冈人，硕士研究生，主要研究方向：图像处理、人工智能；谢凯（1974—），男，湖北荆州人，教授，博士，主要研究方向：信号与信息处理、图像处理、人工智能 email：pami2009@163.com；文畅（1979—），女，湖北荆州人，讲师，硕士，主要研究方向：图像处理、人工智能；李美然（2001—），女，河北石家庄人，主要研究方向：信号与图像处理；贺建飚（1964—），男，湖南长沙人，副教授，硕士，主要研究方向：信号与信息处理；
基金资助:
新疆维吾尔自治区自然科学基金资助项目（2020D01A131）；湖北省教育厅项目（B2019039）；长江大学大学生创新创业训练计划项目（Yz2020059）。

Low dose CT image enhancement based on generative adversarial network

HU Ziqi^1,2,3, XIE Kai^1,2,3, WEN Chang^3,4, LI Meiran¹, HE Jianbiao⁵

1.School of Electronic Information， Yangtze University， Jingzhou Hubei 434023， China
2.National Demonstration Center for Experimental Electrical and Electronic Education，Yangtze University， Jingzhou Hubei 434023， China
3.Western Research Institute， Yangtze University， Karamay Xinjiang 834099， China
4.School of Computer Science， Yangtze University， Jingzhou Hubei 434023， China
5.School of Computer Science and Engineering， Central South University， Changsha Hunan 410083， China

Received:2021-10-08 Revised:2022-01-13 Online:2023-01-12
Contact: XIE Kai， born in 1974， Ph. D.， professor. His research interests include signal and information processing， image processing， artificial intelligence.
About author:HU Ziqi， born in 1997， M. S. candidate. His research interests include image processing， artificial intelligence；WEN Chang， born in 1979， M. S.， lecturer. Her research interests include image processing， artificial intelligence；LI Meiran， born in 2001. Her research interests include signal and image processing；HE Jianbiao， born in 1964， M. S.， associate professor. His research interests include signal and information processing；
Supported by:
This work is partially supported by Natural Science Foundation of Xinjiang Uygur Autonomous Region （2020D01A131）， Program of Department of Education of Hubei Province （B2019039）， Yangtze University Training Program for Undergraduate Innovation and Entrepreneurship （Yz2020059）.

摘要/Abstract

摘要： 为去除低剂量计算机断层扫描（LDCT）图像中的噪声，增强去噪后图像的显示效果，提出一种生成对抗网络（GAN）下的LDCT图像增强算法。首先，将GAN与感知损失、结构损失相结合对LDCT图像进行去噪；然后，对去噪后的图像分别进行动态灰度增强和边缘轮廓增强；最后，利用非下采样轮廓波变换（NSCT）将增强后的图像在频域上分解为具有多方向性的系数子图，并将配对的高低频子图使用卷积神经网络（CNN）进行自适应融合，以重构得到增强后的计算机断层扫描（CT）图像。使用AAPM比赛公开的真实临床数据作为实验数据集，进行图像去噪、增强、融合实验，所提方法在峰值信噪比（PSNR）、结构相似度（SSIM）和均方根误差（RMSE）上的结果分别为33.015 5 dB、0.918 5和5.99。实验结果表明，所提算法在去除噪声的同时能保留CT图像的细节信息，提高图像的亮度和对比度，有助于医生更加准确地分析病情。

关键词: 低剂量计算机断层扫描, 医学图像去噪, 生成对抗网络, 医学图像增强, 非下采样轮廓波变换, 图像融合

Abstract: In order to remove the noise in Low Dose Computed Tomography （LDCT） images and enhance the display effect of the denoised images， an LDCT image enhancement algorithm based on Generative Adversarial Network （GAN） was proposed. Firstly， GAN was combined with perceptual loss and structure loss to denoise the LDCT image. Then， dynamic gray?scale enhancement and edge contour enhancement were performed to the denoised image respectively. Finally， Non?Subsampled Contourlet Transform （NSCT） was used to decompose the enhanced image into multi?directional coefficient sub?images in the frequency domain， and the paired high? and low?frequency sub?images were adaptively fused with Convolutional Neural Network （CNN） to reconstruct the enhanced Computed Tomography （CT） image. Using the real clinical data of the AAPM competition as the experimental dataset， the image denoising， enhancement， and fusion experiments were carried out. The results of the proposed method are 33.015 5 dB， 0.918 5， and 5.99 on Peak Signal?to?Noise Ratio （PSNR）， Structural Similarity Index Measure （SSIM）， and Root Mean Square Error （RMSE） respectively. Experimental results show that the proposed algorithm retains the detailed information of the CT image while removing noise， and improves the brightness and contrast of the image， which helps doctors analyze the patient’s condition more accurately.

Key words: Low Dose Computed Tomography (LDCT), medical image denoising, Generative Adversarial Network (GAN), medical image enhancement, Non?Subsampled Contourlet Transform (NSCT), image fusion

中图分类号:

TP391.41

胡紫琪, 谢凯, 文畅, 李美然, 贺建飚. 生成对抗网络下的低剂量CT图像增强[J]. 计算机应用, 2023, 43(1): 280-288.

HU Ziqi, XIE Kai, WEN Chang, LI Meiran, HE Jianbiao. Low dose CT image enhancement based on generative adversarial network[J]. Journal of Computer Applications, 2023, 43(1): 280-288.

参考文献

1 GAO Y F， LIANG Z R， ZHANG H， et al. A task?dependent investigation on dose and texture in CT image reconstruction［J］. IEEE Transactions on Radiation and Plasma Medical Sciences， 2020， 4（4）： 441-449. 10.1109/trpms.2019.2957459
2 ARABI H， ZAIDI H. Multiple PET reconstruction assisted non?local mean denoising of PET images ［C］// Proceedings of 2020 IEEE Nuclear Science Symposium and Medical Imaging Conference. Piscataway： IEEE， 2020： 1-3. 10.1109/nss/mic42677.2020.9507772
3 FERUGLIO P F， VINEGONI C， GROS J， et al. Block matching 3D random noise filtering for absorption optical projection tomography ［J］. Physics in Medicine and Biology， 2010， 55（18）： No.5401. 10.1088/0031-9155/55/18/009
4 LATIF J， XIAO C B， IMRAN A， et al. Medical imaging using machine learning and deep learning algorithms： a review［C］// Proceedings of the 2nd International Conference on Computing， Mathematics and Engineering Technologies. Piscataway： IEEE， 2019： 1-5. 10.1109/icomet.2019.8673502
5 VIJINA P， JAYASREE M. A survey on recent approaches in image reconstruction［C］// Proceedings of 2020 International Conference on Power， Instrumentation， Control and Computing. Piscataway： IEEE， 2020： 1-5. 10.1109/picc51425.2020.9362425
6 SHAN H M， PADOLE A， HOMAYOUNIEH F， et al. Competitive performance of a modularized deep neural network compared to commercial algorithms for low?dose CT image reconstruction［J］. Nature Machine Intelligence， 2019， 1（6）： 269-276. 10.1038/s42256-019-0057-9
7 JAIN V， SEUNG H S. Natural image denoising with convolutional networks［C］// Proceedings of 21st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2008： 769-776.
8 ZHANG K， ZUO W M， CHEN Y J， et al. Beyond a Gaussian denoiser： Residual learning of deep CNN for image denoising［J］. IEEE Transactions on Image Processing， 2017， 26（7）： 3142-3155. 10.1109/tip.2017.2662206
9 CHEN H， ZHANG Y， KALRA M K， et al. Low?dose CT with a residual encoder?decoder convolutional neural network［J］. IEEE Transactions on Medical Imaging， 2017， 36（12）： 2524-2535. 10.1109/tmi.2017.2715284
10 GOODFELLOW I， POUGET?ABADIE J， MIRZA M， et al. Generative adversarial nets ［C］// Proceedings of 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.
11 JOHNSON J， ALAHI A， LI F F. Perceptual losses for real?time style transfer and super?resolution［C］// Proceedings of 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 694-711.
12 ARJOVSKY M， CHINTALA S， BOTTOU L. Wasserstein GAN［EB/OL］. （2017-12-06）［2021-04-20］.https：//arxiv.org/pdf/1701.07875.pdf.
13 GULRAJANI I， AHMED F， ARJOVSKY M， et al. Improved training of Wasserstein GANs［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5769-5779.
14 YANG Q S， YAN P K， ZHANG Y B， et al. Low?dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss［J］. IEEE Transactions on Medical Imaging， 2018， 37（6）： 1348-1357. 10.1109/tmi.2018.2827462
15 ODENA A， DUMOULIN V， OLAH C. Deconvolution and checkerboard artifacts［J］. Distill， 2016， 1（10）： e3. 10.23915/distill.00003
16 WANG P. Image denoising using deep CGAN with bi?skip connections［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2019： 724-729. 10.1109/cvprw.2019.00099
17 LAND E H， McCANN J J. Lightness and retinex theory［J］. Journal of the Optical Society of America， 1971， 61（1）： 1-11. 10.1364/josa.61.000001
18 JOBSON D J， RAHMAN Z， WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes［J］. IEEE Transactions on Image Processing， 1997， 6（7）： 965-976. 10.1109/83.597272
19 ZHANG Q， GUO B L. Multifocus image fusion using the nonsubsampled contourlet transform［J］. Signal Processing， 2009， 89（7）： 1334-1346. 10.1016/j.sigpro.2009.01.012
20 American Association of Physicists in Medicine. Low dose CT grand challenge［EB/OL］. ［2021-04-20］.http：//www.aapm.org/GrandChallenge/LowDoseCT/. 10.1118/1.4957556

[1]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[2]	魏文亮, 王阳萍, 岳彪, 王安政, 张哲. 基于光照权重分配和注意力的红外与可见光图像融合深度学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2183-2191.
[3]	王昊冉, 于丹, 杨玉丽, 马垚, 陈永乐. 面向工控系统未知攻击的域迁移入侵检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1158-1165.
[4]	郑毅, 廖存燚, 张天倩, 王骥, 刘守印. 面向城区的基于图去噪的小区级RSRP估计方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 855-862.
[5]	周辉, 陈玉玲, 王学伟, 张洋文, 何建江. 基于生成对抗网络的联邦学习深度影子防御方案[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 223-232.
[6]	刘安阳, 赵怀慈, 蔡文龙, 许泽超, 解瑞灯. 基于主动判别机制的自适应生成对抗网络图像去模糊算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2288-2294.
[7]	陈少权, 蔡剑平, 孙岚. 动态梯度阈值裁剪的差分隐私生成对抗网络算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2065-2072.
[8]	靳鑫, 刘仰川, 朱叶晨, 张子健, 高欣. 基于残差编解码-生成对抗网络的正弦图修复的稀疏角度锥束CT图像重建[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1950-1957.
[9]	郭劲文, 马兴华, 骆功宁, 王玮, 曹阳, 王宽全. 基于Transformer的结构强化IVOCT导丝伪影去除方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1596-1605.
[10]	吴家皋, 章仕稳, 蒋宇栋, 刘林峰. 基于状态精细化长短期记忆和注意力机制的社交生成对抗网络用于行人轨迹预测[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1565-1570.
[11]	樊小宇, 蔺素珍, 王彦博, 刘峰, 李大威. 基于残差图卷积神经网络的高倍欠采样核磁共振图像重建算法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1261-1268.
[12]	王昊, 王子成, 张超, 马韵升. 基于生成对抗网络的数据不确定性量化方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1094-1101.
[13]	尹春勇, 周立文. 基于再编码的无监督时间序列异常检测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 804-811.
[14]	陶玲玲, 刘波, 李文博, 何希平. 有闭解的可控人脸编辑算法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 601-607.
[15]	王若莹, 吕凡, 赵柳清, 胡伏原. 融合用户需求和边界约束的平面图生成算法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 575-582.

生成对抗网络下的低剂量CT图像增强

Low dose CT image enhancement based on generative adversarial network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics