基于盲环网络和随机恢复掩码的自监督图像去噪

doi:10.11772/j.issn.1001-9081.2024091383

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (10): 3311-3319.DOI: 10.11772/j.issn.1001-9081.2024091383

• 多媒体计算与计算机仿真 • 上一篇

基于盲环网络和随机恢复掩码的自监督图像去噪

梁震远¹, 江松林²(), 朱松豪¹

^1.南京邮电大学自动化学院、人工智能学院，南京 210023
^2.闽西职业技术学院城乡建筑学院，福建龙岩 364021

收稿日期:2024-09-27 修回日期:2025-01-08 接受日期:2025-01-10 发布日期:2025-03-18 出版日期:2025-10-10
通讯作者: 江松林
作者简介:梁震远（2000—），男，江苏南京人，硕士研究生，主要研究方向：图像处理、深度学习
江松林（1972—），男，福建龙岩人，副教授，硕士，主要研究方向：电气自动化、图像处理 Email:331319315@qq.coom
朱松豪（1973—），男，江苏如皋人，副教授，博士，主要研究方向：人工智能、深度学习。
基金资助:
国家自然科学基金资助项目(62001247)

Self-supervised image denoising based on blind-ring network and random recovery mask

Zhenyuan LIANG¹, Songlin JIANG²(), Songhao ZHU¹

^1.College of Automation and College of Artificial Intelligence，Nanjing University of Posts and Telecommunications，Nanjing Jiangsu 210023，China
^2.Urban and Rural Construction School，Minxi Vocational and Technical College，Longyan Fujian 364021，China

Received:2024-09-27 Revised:2025-01-08 Accepted:2025-01-10 Online:2025-03-18 Published:2025-10-10
Contact: Songlin JIANG
About author:LIANG Zhenyuan， born in 2000， M. S. candidate. His research interests include image processing， deep learning.
JIANG Songlin， born in 1972， M. S.， associate professor. His research interests include electric automation， image processing.
ZHU Songhao， born in 1973， Ph. D.， associate professor. His research interests include artificial intelligence， deep learning.
Supported by:
National Natural Science Foundation of China(62001247)

摘要/Abstract

摘要：

现有的基于盲点网络的自监督图像去噪方法常因为网络结构的限制，导致图像信息的严重损失。为解决这一问题，首先，提出一种自监督图像去噪方法，通过将传统的盲点网络改进为盲环网络（BRN），进一步降低噪声的空间相关性；其次，针对传统掩码策略导致图像信息丢失的问题，提出一种随机恢复掩码（RRM）策略，在减少信息损失的同时，增强去噪结果的细节信息；最后，提出一种双约束损失函数，在防止模型过度拟合的同时，有效保留图像的重要信息。实验结果表明，相较于次优的基于BRN的自监督图像去噪方法，所提方法在SIDD验证数据集上的峰值信噪比（PSNR）提高了0.17 dB，结构相似性（SSIM）提高了0.007，图像块感知相似度（IPPS）降低了0.006，验证了所提方法具有优越的去噪性能。

关键词: 图像去噪, 自监督学习, 盲环网络, 随机恢复掩码, 双约束损失函数

Abstract:

The existing self-supervised image denoising methods based on blind-spot networks often suffer from severe loss of image information due to limitations in the network structure. To solve this problem， firstly， a self-supervised image denoising method was proposed， which improved the traditional blind-spot network into a Blind-Ring Network （BRN）， so as to further reduce spatial correlation of the noise. Then， to address the issue of image information loss caused by the traditional mask strategies， a Random Recovery Mask （RRM） strategy was proposed， thereby reducing the information loss while enhancing detail information of the denoising results. Finally， a dual constraint loss function was proposed to prevent over-fitting of the model while preserving important information in the image effectively. Experimental results show that compared with the sub-optimal self-supervised image denoising method based on BRN， the proposed method improves the Peak Signal-to-Noise Ratio （PSNR） by 0.17 dB， Structural SIMilarity （SSIM） by 0.007， and reduces the Image Patch Perceptual Similarity （IPPS） by 0.006， on the SIDD validation dataset， verifying its superior denoising performance.

Key words: image denoising, self-supervised learning, Blind-Ring Network (BRN), Random Recovery Mask (RRM), dual constraint loss function

中图分类号:

TP391.41

梁震远, 江松林, 朱松豪. 基于盲环网络和随机恢复掩码的自监督图像去噪[J]. 计算机应用, 2025, 45(10): 3311-3319.

Zhenyuan LIANG, Songlin JIANG, Songhao ZHU. Self-supervised image denoising based on blind-ring network and random recovery mask[J]. Journal of Computer Applications, 2025, 45(10): 3311-3319.

图/表 13

图1 本文模型的结构

Fig. 1 Structure of proposed model

图2 不同网络的掩码策略和去噪方向对比

Fig. 2 Comparison of masking strategies and denoising directions of different networks

图3 不同掩码策略的示例

Fig. 3 Examples of different mask strategies

表1 不同方法的去噪性能对比

Tab. 1 Denoising performance comparison of different methods

类型	方法	SIDD Validation			SIDD Benchmark		DND Benchmark
类型	方法	PSNR/dB	SSIM	IPPS	PSNR/dB	SSIM	PSNR/dB	SSIM
无需预训练	BM3D	25.71	0.576	0.657	25.65	0.685	34.51	0.851
无需预训练	WNNM	26.05	0.592	0.635	25.78	0.809	34.67	0.865
有监督	CBDNet	33.07	0.863	0.288	33.28	0.868	38.05	0.942
	PD	33.96	0.899	0.258	34.23	0.898	38.40	0.945
	DnCNN	37.73	0.943	0.245	37.61	0.941	38.73	0.945
	U-net	38.98	0.954	0.201	38.92	0.953	39.37	0.954
	VDN	39.29	0.956	0.208	39.26	0.955	39.38	0.952
	Restormer	39.93	0.960	0.198	40.02	0.960	39.58	0.955
无监督	BGAN	—	—	—	—	—	35.58	0.922
	CAN	—	—	—	32.48	0.897	—	—
	C2N	35.36	0.932	0.192	35.35	0.937	37.28	0.924
	Uformer	—	—	—	—	—	37.93	0.937
自监督	Noise2Void	27.48	0.664	0.592	27.68	0.668	—	—
	Noise2Self	29.94	0.782	0.556	29.56	0.808	—	—
	NAC	—	—	—	—	—	36.20	0.925
	R2R	—	—	—	34.78	0.898	—	—
	CVF-SID	34.15	0.911	0.423	34.71	0.917	36.50	0.924
	AP-BSN	36.74	0.934	0.281	36.91	0.931	38.09	0.937
	SS-BSN	—	—	—	36.73	0.923	37.72	0.928
	BRN	37.39	0.934	0.176	36.91	0.931	38.09	0.937
	MFAF	—	—	—	37.33	0.929	38.41	0.940
	MBBSN-MCRR	37.51	0.937	0.173	37.63	0.941	38.81	0.945
	本文方法	37.56	0.941	0.170	37.44	0.938	38.76	0.946

图4 不同方法在SIDD数据集上去噪效果的可视化

Fig. 4 Visualization of denoising effects of different methods on SIDD dataset

图5 不同方法在DND数据集上去噪效果的可视化

Fig. 5 Visualization of denoising effects of different methods on DND dataset

表2 不同自监督方法的复杂性对比

Tab. 2 Complexness comparison of different self-supervised methods

方法	Params/MB	运算量/GFLOPs
NAC	0.6	36
AP-BSN	3.7	29
BRN	15.0	46
MFAF	95.0	29
本文方法	11.0	33

表3 不同盲环尺寸的消融实验结果

Tab. 3 Ablation experimental results of different blind-ring sizes

盲环尺寸	PSNR/dB
盲环尺寸	SIDD Validation	SIDD Benchmark
1×1	24.24	26.35
3×3	27.23	28.21
5×5	30.91	31.53
7×7	33.67	34.24
9×9	37.56	38.76
11×11	34.21	36.43
13×13	32.68	34.21

图6 不同盲环尺寸在SIDD数据集上去噪结果的可视化

Fig. 6 Visualization of denoising results on SIDD dataset with different blind-ring sizes

表4 不同步长的像素混洗下采样策略的消融实验结果

Tab. 4 Ablation experimental results of pixel-shuffle down-sampling strategy with different step sizes

步长	SIDD Validation		SIDD Benchmark
步长	PSNR/dB	SSIM	PSNR/dB	SSIM
2	31.55	0.897	31.21	0.885
3	34.33	0.921	34.23	0.918
4	37.56	0.941	37.44	0.938
5	35.12	0.928	34.13	0.922
6	33.01	0.903	32.03	0.893

图7 不同步长的像素混洗下采样在SIDD数据集上的可视化

Fig. 7 Visualization of pixel-shuffle down-sampling on SIDD dataset with different step sizes

表5 随机恢复掩码策略的消融实验结果

Tab. 5 Ablation experimental results of random recovery mask strategy

RRM	SIDD Validation		SIDD Benchmark
RRM	PSNR/dB	SSIM	PSNR/dB	SSIM
	35.09	0.923	34.89	0.915
√	37.56	0.941	37.44	0.938

表6 不同损失函数在SID数据集上的PSNR和SSIM

Tab. 6 PSNR and SSIM of different loss functions on SIDD dataset

损失函数	SIDD Validation		SIDD Benchmark
损失函数	PSNR/dB	SSIM	PSNR/dB	SSIM
$L σ y$	34.86	0.918	33.67	0.909
$L ω y$	36.16	0.931	35.94	0.921
$L σ y + L ω y$	37.56	0.941	37.44	0.938

表6 不同损失函数在SID数据集上的PSNR和SSIM

Tab. 6 PSNR and SSIM of different loss functions on SIDD dataset

损失函数	SIDD Validation		SIDD Benchmark
损失函数	PSNR/dB	SSIM	PSNR/dB	SSIM
$L σ y$	34.86	0.918	33.67	0.909
$L ω y$	36.16	0.931	35.94	0.921
$L σ y + L ω y$	37.56	0.941	37.44	0.938

参考文献 43

[1]	KONG X， YANG Q. No-reference image quality assessment for image auto-denoising［J］. International Journal of Computer Vision， 2018， 126（5）： 537-549.
[2]	DABOV K， FOI A， KATKOVNIK V， et al. Image denoising by sparse 3-D transform domain collaborative filtering［J］. IEEE Transactions on Image Processing， 2007， 16（8）： 2080-2095.
[3]	GU S， ZHANG L， ZUO W， et al. Weighted nuclear norm minimization with application to image denoising［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 2862-2869.
[4]	HOSONO K， ONO S， MIYATA T. Weighted tensor nuclear norm minimization for color image denoising ［C］// Proceedings of the 2016 IEEE Conference on Image Processing. Piscataway： IEEE， 2016：3081-3085.
[5]	LUO E， CHAN S H， NGUYEN T Q. Adaptive image denoising by targeted databases［J］. IEEE Transactions on Image Processing， 2015， 24（7）： 2167-2181.
[6]	ANWAR S， BARNES N. Real image denoising with feature attention［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 3155-3164.
[7]	GUO S， YAN Z， ZHANG K， et al. Toward convolutional blind denoising of real photographs［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1712-1722.
[8]	ABDELHAMED A， LIN S， BROWN M S. A high-quality denoising dataset for smartphone cameras［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 1692-1700.
[9]	PLÖTZ T， ROTH S. Benchmarking denoising algorithms with real photographs［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2750-2759.
[10]	WEI K， FU Y， YANG J， et al. A physics-based noise formation model for extreme low-light raw denoising［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 2755-2764.
[11]	ZHANG Y， QIN H， WANG X， et al. Rethinking noise synthesis and modeling in raw denoising［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 4593-4601.
[12]	KIM Y， SOH J W， PARK G Y， et al. Transfer learning from synthetic to real-noise denoising with adaptive instance normalization［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 3479-3489.
[13]	LEHTINEN J， MUNKBERG J， HASSELGREN J， et al. Noise2Noise： learning image restoration without clean data［C］// Proceedings of the 35th International Conference on Machine Learning. New York： JMLR.org， 2018： 2965-2974.
[14]	MORAN N， SCHMIDT D， ZHONG Y， et al. Noisier2Noise： learning to denoise from unpaired noisy data［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 12061-12069.
[15]	KRULL A， BUCHHOLZ T O， JUG F. Noise2Void — learning denoising from single noisy images［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 2124-2132.
[16]	NESHATAVAR R， YAVARTANOO M， SON S， et al. CVF-SID： cyclic multi-variate function for self-supervised image denoising by disentangling noise from image［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 17562-17570.
[17]	LEE W， SON S， LEE K M. AP-BSN： self-supervised denoising for real-world images via asymmetric PD and blind-spot network［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 17704-17713.
[18]	ZHOU Y， JIAO J， HUANG H， et al. When AWGN-based denoiser meets real noises［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 13074-13081.
[19]	BUADES A， COLL B， MOREL J M. A non-local algorithm for image denoising［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition — Volume 2. Piscataway： IEEE， 2005： 60-65.
[20]	ZHANG K， ZUO W， CHEN Y， et al. Beyond a Gaussian denoiser： residual learning of deep CNN for image denoising［J］. IEEE Transactions on Image Processing， 2017， 26（7）： 3142-3155.
[21]	MAO X J， SHEN C， YANG Y B. Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2016： 2810-2818.
[22]	TAI Y， YANG J， LIU X， et al. MemNet： a persistent memory network for image restoration［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 4549-4557.
[23]	JANG G， LEE W， SON S， et al. C2N： practical generative noise modeling for real-world denoising［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 2330-2339.
[24]	WU X， LIU M， CAO Y， et al. Unpaired learning of deep image denoising［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12349. Cham： Springer， 2020： 352-368.
[25]	KOUSHA S， MALEKY A， BROWN M S， et al. Modeling sRGB camera noise with normalizing flows［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 17442-17450.
[26]	SOLTANAYEV S， CHUN S Y. Training deep learning based denoisers without ground truth data［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2018： 3261-3271.
[27]	BATSON J， ROYER L. Noise2Self： blind denoising by self-supervision［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019： 524-533.
[28]	LAINE S， KARRAS T， LEHTINEN J， et al. High-quality self-supervised deep image denoising［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019： 6970-6980.
[29]	PANG T， ZHENG H， QUAN Y， et al. Recorrupted-to-recorrupted： unsupervised deep learning for image denoising［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 2043-2052.
[30]	XU J， HUANG Y， CHENG M M， et al. Noisy-as-Clean： learning self-supervised denoising from corrupted image［J］. IEEE Transactions on Image Processing， 2020， 29： 9316-9329.
[31]	KIM K， KWON T， YE J C. Noise distribution adaptive self-supervised image denoising using Tweedie distribution and score matching［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 1998-2006.
[32]	ZHANG Z， XU R， LIU M， et al. Self-supervised image restoration with blurry and noisy pairs［C］// Proceedings of the 36th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2022： 29179-29191.
[33]	BROADDUS C， KRULL A， WEIGERT M， et al. Removing structured noise with self-supervised blind-spot networks［C］// Proceedings of the IEEE 17th International Symposium on Biomedical Imaging. Piscataway： IEEE， 2020： 159-163.
[34]	LI J， ZHANG Z， LIU X， et al. Spatially adaptive self-supervised learning for real-world image denoising［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 9914-9924.
[35]	RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
[36]	YUE Z， YONG H， ZHAO Q， et al. Variational denoising network： toward blind noise modeling and removal［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019： 1690-1701.
[37]	ZAMIR S W， ARORA A， KHAN S， et al. Restormer： efficient Transformer for high-resolution image restoration［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 5718-5729.
[38]	CHEN J， CHEN J， CHAO H， et al. Image blind denoising with generative adversarial network based noise modeling［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 3155-3164.
[39]	HONG Z， FAN X， JIANG T， et al. End-to-end unpaired image denoising with conditional adversarial networks［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 4140-4149.
[40]	WANG Z， CUN X， BAO J， et al. Uformer： a general U-shaped Transformer for image restoration［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 17662-17672.
[41]	HAN Y J， YU H J. SS-BSN： attentive blind-spot network for self-supervised denoising with nonlocal self-similarity［C］// Proceedings of the 32nd International Joint Conference on Artificial Intelligence. California： ijcai.org， 2023： 800-809.
[42]	TANG H， ZHANG W， ZHU H， et al. Self-supervised real-world image denoising based on multi-scale feature enhancement and attention fusion［J］. IEEE Access， 2024， 12： 49720-49734.
[43]	梁震远，朱松豪. 融合多类替换细化和多分支盲点网络的自监督图像去噪［J］. 小型微型计算机系统， 2025， 46（9）： 2153-2159.
	LIANG Z Y， ZHU S H. Self-supervised denoising method via multi-branch blind-spot network with multiclass replacing refinement［J］. Journal of Chinese Computer Systems， 2025， 46（9）： 2153-2159.

基于盲环网络和随机恢复掩码的自监督图像去噪

Self-supervised image denoising based on blind-ring network and random recovery mask

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 43

相关文章 15

编辑推荐

Metrics

[1]	刘超, 余岩化. 融合降噪策略与多视图对比学习的知识感知推荐模型[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2827-2837.
[2]	谢劲, 褚苏荣, 强彦, 赵涓涓, 张华, 高勇. 用于胸片中硬负样本识别的双支分布一致性对比学习模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2369-2377.
[3]	吴宗航, 张东, 李冠宇. 基于联合自监督学习的多模态融合推荐算法[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1858-1868.
[4]	朱俊屹, 常雷雷, 徐晓滨, 郝智勇, 于海跃, 姜江. 基于最小先验知识的自监督学习方法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1035-1041.
[5]	杨光局, 罗天健, 王开军, 杨思琪. 多分支多视图的时间序列上下文对比表征学习方法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1042-1052.
[6]	杨建锋, 陈斌, 李雨轩. 基于点云重构的自监督点云异常检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(10): 3302-3310.
[7]	唐廷杰, 黄佳进, 秦进. 基于图辅助学习的会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2711-2718.
[8]	丁宇伟, 石洪波, 李杰, 梁敏. 基于局部和全局特征解耦的图像去噪网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2571-2579.
[9]	韩贵金, 张馨渊, 张文涛, 黄娅. 基于多特征融合的自监督图像配准算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1597-1604.
[10]	汪炅, 唐韬韬, 贾彩燕. 无负采样的正样本增强图对比学习推荐方法PAGCL[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1485-1492.
[11]	黄荣, 宋俊杰, 周树波, 刘浩. 基于自监督视觉Transformer的图像美学质量评价方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1269-1276.
[12]	侯瑞峰, 张鹏程, 张丽媛, 桂志国, 刘祎, 张浩文, 王书斌. 基于全变分正则项展开的迭代去噪网络[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 916-921.
[13]	王朋博, 单武扬, 李军, 田茂, 邹登, 范占锋. 抗高强度椒盐噪声的鲁棒拼接取证算法[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3177-3184.
[14]	张雨宁, 阿布都克力木·阿布力孜, 梅悌胜, 徐春, 麦尔达娜·买买提热依木, 哈里旦木·阿布都克里木, 侯钰涛. 基于自监督特征提取的骨骼X线影像异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 175-181.
[15]	马胜位, 黄瑞章, 任丽娜, 林川. 基于多层语义融合的结构化深度文本聚类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2364-2369.