基于组件协同优化剪枝的Transformer图像去雾

doi:10.11772/j.issn.1001-9081.2025040395

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (3): 933-939.DOI: 10.11772/j.issn.1001-9081.2025040395

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于组件协同优化剪枝的Transformer图像去雾

郭纪新, 张婷()

北京理工大学自动化学院，北京 100081

收稿日期:2025-04-14 修回日期:2025-06-05 接受日期:2025-06-11 发布日期:2025-06-23 出版日期:2026-03-10
通讯作者: 张婷
作者简介:郭纪新（2000—），男，河南许昌人，硕士研究生，主要研究方向：图像处理、图像去雾
基金资助:
教育部产学合作协同育人项目(202102023015);北京市高等教育学会面上课题(MS2022045);北京理工大学研究生教研教改面上项目(2025YBJG006)

Transformer image dehazing based on component collaborative optimization pruning

Jixin GUO, Ting ZHANG()

School of Automation，Beijing Institute of Technology，Beijing 100081，China

Received:2025-04-14 Revised:2025-06-05 Accepted:2025-06-11 Online:2025-06-23 Published:2026-03-10
Contact: Ting ZHANG
About author:GUO Jixin， born in 2000， M. S. candidate. His research interests include image processing， image dehazing.
Supported by:
University-Industry Collaborative Education Program of the Ministry of Education(202102023015);General Program of Beijing Association of Higher Education(MS2022045);General Program of Graduate Teaching and Research Program of Beijing Institute of Technology(2025YBJG006)

摘要/Abstract

摘要：

基于Transformer的图像去雾算法取得了较好去雾效果，但存在网络参数量大和去雾速度慢的问题。为实现对去雾网络冗余部分的定向修剪，在不影响去雾质量的前提下缩短去雾时间，提出一种基于组件协同优化剪枝的Transformer图像去雾方法CCOP-IDT（Component Collaborative Optimization Pruning Image Dehazing Transformer）。首先，采用5级Transformer构建去雾网络预训练模型；其次，将网络剪枝建模为优化问题，使用费雪信息评估权重参数重要度，并利用黑塞矩阵衡量剪枝组件对网络输出的联合影响，从而建立多种剪枝组件的协同优化方法；最后，采用进化算法求解最优剪枝率序列，从而得到预训练模型的最优子网络。实验结果表明，剪枝后的网络参数量控制在0.476×10⁶，相较于剪枝前减少了28.8%，去雾时间缩短了25.0%；在合成有雾数据集RESIDE-6K上，所提方法的峰值信噪比（PSNR）达到29.60 dB，结构相似度（SSIM）达到0.968 7，与剪枝前相比仅分别降低了1.63%和0.46%。可见，在定量和定性评估上，所提方法都表现良好，能够在基本保持量化指标和主观观感的前提下，大幅减少模型参数量，提高图像去雾速度。

关键词: 图像去雾, Transformer, 模型剪枝, 费雪信息, 黑塞矩阵, 进化算法

Abstract:

Image dehazing algorithms based on Transformer achieve good dehazing effects， but there are problems such as large number of network parameters and low dehazing speed. In order to prune redundant parts of the dehazing network directionally and shorten dehazing time without affecting dehazing quality， a Transformer image dehazing method based on component collaborative optimization pruning， CCOP-IDT （Component Collaborative Optimization Pruning Image Dehazing Transformer）， was proposed. Firstly， a 5-level Transformer was used to construct a pre-training model of dehazing network. Then， the network pruning was modeled as an optimization problem， Fisher information was used to evaluate the importance of weight parameters， and Hessian matrix was used to measure the joint influence of pruning components on network output， so as to establish a collaborative optimization method for multiple pruning components. Finally， an evolutionary algorithm was employed to solve the optimal pruning rate sequence， so as to obtain the optimal sub-network of the pre-trained model. Experimental results show that after pruning， the number of network parameters is controlled to 0.476×10⁶， which is reduced by 28.8% compared with that before pruning， and the dehazing time is shortened by 25.0%. On the synthetic hazy dataset RESIDE-6K， the proposed method has the Peak Signal-to-Noise Ratio （PSNR） reached 29.60 dB， and the Structural SIMilarity （SSIM） reached 0.968 7， which are reduced by only 1.63% and 0.46% compared with those before pruning， respectively. It can be seen that in terms of both quantitative and qualitative evaluation， the proposed method performs well with great reduction of the model parameters and improvement of the image dehazing speed while maintaining the quantitative indices and subjective perception basically.

Key words: image dehazing, Transformer, model pruning, Fisher information, Hessian matrix, evolutionary algorithm

中图分类号:

TP391.41

郭纪新, 张婷. 基于组件协同优化剪枝的Transformer图像去雾[J]. 计算机应用, 2026, 46(3): 933-939.

Jixin GUO, Ting ZHANG. Transformer image dehazing based on component collaborative optimization pruning[J]. Journal of Computer Applications, 2026, 46(3): 933-939.

图/表 9

参考文献 26

[1]	NARASIMHAN S G， NAYAR S K. Vision and the atmosphere［J］. International Journal of Computer Vision， 2002， 48（3）： 233-254.
[2]	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
[3]	ZHENG C， LI Z， ZHANG K， et al. SAViT： structure-aware vision Transformer pruning via collaborative optimization ［C］// Proceedings of the 36th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2022： 9010-9023.
[4]	RAHMAN Z， JOBSON D J， WOODELL G A. Multi-scale retinex for color image enhancement ［C］// Proceedings of the 3rd IEEE International Conference on Image Processing — Volume 3. Piscataway： IEEE， 1996： 1003-1006.
[5]	HE K， SUN J， TANG X. Single image haze removal using dark channel prior ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（12）： 2341-2353.
[6]	CAI B， XU X， JIA K， et al. DehazeNet： an end-to-end system for single image haze removal ［J］. IEEE Transactions on Image Processing， 2016， 25（11）： 5187-5198.
[7]	QIN X， WANG Z， BAI Y， et al. FFA-Net： feature fusion attention network for single image dehazing ［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 11908-11915.
[8]	ZHAO S， ZHANG L， SHEN Y， et al. RefineDNet： a weakly supervised refinement framework for single image dehazing ［J］. IEEE Transactions on Image Processing， 2021， 30： 3391-3404.
[9]	张婷，赵杏，陈文欣. 基于条件生成对抗网络的图像去雾方法［J］. 计算机应用， 2021， 41（S2）： 248-253.
	ZHANG T， ZHAO X， CHEN W X. Image dehazing method based on conditional generative adversarial network ［J］. Journal of Computer Applications， 2021， 41（S2）： 248-253.
[10]	SONG Y， HE Z， QIAN H， et al. Vision Transformers for single image dehazing ［J］. IEEE Transactions on Image Processing， 2023， 32： 1927-1941.
[11]	QIU Y， ZHANG K， WANG C， et al. MB-TaylorFormer： multi-branch efficient Transformer expanded by Taylor formula for image dehazing ［C］// Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2023： 12756-12767.
[12]	LIU Y， LIU H， LI L， et al. A data-centric solution to nonhomogeneous dehazing via Vision Transformer ［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2023： 1406-1415.
[13]	GUO C， YAN Q， ANWAR S， et al. Image dehazing Transformer with transmission-aware 3D position embedding ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 5802-5810.
[14]	LI X， HUA Z， LI J. Two-stage single image dehazing network using Swin-Transformer ［J］. IET Image Processing， 2022， 16（9）： 2518-2534.
[15]	杨赟辉，程虎，魏敬和，等. 面向Transformer模型边缘端部署的常用激活函数高精度轻量级量化推理方法［J］. 电子学报， 2024， 52（10）： 3301-3311.
	YANG Y H， CHENG H， WEI J H， et al. High-precision lightweight quantization inference method for prevalent activation functions in Transformer models in edge device deployment ［J］. Acta Electronica Sinica， 2024， 52（10）： 3301-3311.
[16]	邱淼波，高晋，林述波，等. 线性分解注意力的边缘端高效Transformer跟踪［J］. 中国图象图形学报， 2025， 30（2）： 485-502.
	QIU M B， GAO J， LIN S B， et al. Efficient Transformer tracking for the edge end with linearly decomposed attention ［J］. Journal of Image and Graphics， 2025， 30（2）： 485-502.
[17]	LeCUN Y， DENKER J S， SOLLA S A. Optimal brain damage［C］// Proceedings of the 1989 Advances in Neural Information Processing Systems. Cambridge： MIT Press， 1989： 598-605.
[18]	TANG Y， HAN K， WANG Y， et al. Patch slimming for efficient Vision Transformers ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 12155-12164.
[19]	YU F， HUANG K， WANG M， et al. Width & depth pruning for Vision Transformers ［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2022： 3143-3151.
[20]	YANG H， YIN H， SHEN M， et al. Global Vision Transformer pruning with hessian-aware saliency ［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 18547-18557.
[21]	WANG H， DEDHIA B， JHA N K. Zero-TPrune： zero-shot token pruning through leveraging of the attention graph in pre-trained Transformers ［C］// Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2024： 16070-16079.
[22]	CAO J， YE P， LI S， et al. MADTP： multimodal alignment-guided dynamic token pruning for accelerating vision-language Transformer ［C］// Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2024： 15710-15719.
[23]	GUO J， ZHANG T. Transformer-based image dehazing with accurate color restoration ［C］// Proceedings of the 13th International Conference on Computing and Pattern Recognition. New York： ACM， 2025： 265-271.
[24]	LIU L， ZHANG S， KUANG Z， et al. Group Fisher pruning for practical network compression ［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR.org， 2021： 7021-7032.
[25]	LI B， REN W， FU D， et al. Benchmarking single-image dehazing and beyond ［J］. IEEE Transactions on Image Processing， 2019， 28（1）： 492-505.
[26]	ZHAO S， ZHANG L， HUANG S， et al. Dehazing evaluation： real-world benchmark datasets， criteria， and baselines ［J］. IEEE Transactions on Image Processing， 2020， 29： 6947-6962.

模块	深度	注意头数	输出特征向量维度	参数量/10⁶
B₁	4	2	［24，256，256］	0.019
B₂	4	4	［48，128，128］	0.112
B₃	4	6	［96，64，64］	0.446
B₄	2	1	［48，128，128］	0.031
B₅	2	1	［24，256，256］	0.008

模块	深度	注意头数	输出特征向量维度	参数量/10⁶
B₁	4	2	［24，256，256］	0.019
B₂	4	4	［48，128，128］	0.112
B₃	4	6	［96，64，64］	0.446
B₄	2	1	［48，128，128］	0.031
B₅	2	1	［24，256，256］	0.008

项目	属性
CPU	Intel Core i7-7700K
CPU基准频率	4.20 GHz
GPU	NVIDIA GeForce RTX 2080Ti
显存	11 GB
CUDA	11.6
Python版本	3.8
深度学习框架	PyTorch 1.12.1
batch size	4
epoch	300
学习率	4×10^-4
优化器	Adam

项目	属性
CPU	Intel Core i7-7700K
CPU基准频率	4.20 GHz
GPU	NVIDIA GeForce RTX 2080Ti
显存	11 GB
CUDA	11.6
Python版本	3.8
深度学习框架	PyTorch 1.12.1
batch size	4
epoch	300
学习率	4×10^-4
优化器	Adam

方法	去雾指标		效率指标
方法	PSNR/dB	SSIM	参数量/10⁶	平均耗时/s	计算量/GFLOPs
FFA-Net^［7］	21.98	0.892 9	4.456	0.891	575.60
RefineDNet^［8］	20.62	0.841 9	65.795	0.303	27.82
DehazeFormer^［10］	29.99	0.971 7	0.686	0.139	13.32
本文方法-剪枝前	30.09	0.973 2	0.669	0.132	12.56
本文方法-剪枝后	29.60	0.968 7	0.476	0.099	5.24

基于组件协同优化剪枝的Transformer图像去雾

Transformer image dehazing based on component collaborative optimization pruning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 26

相关文章 15

编辑推荐

Metrics

规模	方法	剪枝策略			PSNR/dB	SSIM	参数总量/10⁶	计算量/GFLOPs
规模	方法	ρ^（1）	ρ^（2）	ρ^（3）	PSNR/dB	SSIM	参数总量/10⁶	计算量/GFLOPs
0.5×10⁶以内模型（CP_budget=5.5 GFLOPs）	本文策略	0.032	0.133	0.300	29.60	0.968 7	0.476	5.24
	对照组①	0.000	0.267	0.000	28.61	0.963 3	0.494	8.90
	对照组②	0.000	0.000	0.400	29.01	0.966 6	0.481	5.18
0.4×10⁶以内模型（CP_budget=4.5 GFLOPs）	本文策略	0.021	0.033	0.471	28.88	0.967 3	0.364	4.24
	对照组③	0.000	0.333	0.000	28.64	0.963 5	0.397	6.32
	对照组④	0.000	0.000	0.556	27.55	0.955 4	0.408	4.92

[1]	刘汉卿, 桑国明, 张益嘉. 结合密集多尺度特征融合和特征知识增强Transformer的遥感图像描述模型[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 741-749.
[2]	熊前龙, 秦进. 混合启发信息指导神经网络架构搜索算法[J]. 《计算机应用》唯一官方网站, 2026, 46(2): 395-405.
[3]	张春雨, 刘建昌, 刘圆超, 张伟. 基于两阶段填充采样的昂贵多目标进化算法[J]. 《计算机应用》唯一官方网站, 2026, 46(2): 485-496.
[4]	冉敏, 潘大志. 融合变异策略与邻接信息的差分进化算法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 188-197.
[5]	姚理进, 张迪, 周丕宇, 曲志坚, 王海鹏. 基于Transformer和门控循环单元的磷酸化肽从头测序算法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 297-304.
[6]	桑雨, 贡同, 赵琛, 于博文, 李思漫. 具有光度对齐的域适应夜间目标检测方法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 242-251.
[7]	王丽芳, 任文婧, 郭晓东, 张荣国, 胡立华. 用于低剂量CT图像降噪的多路特征生成对抗网络[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 270-279.
[8]	吴俊衡, 王晓东, 何启学. 基于统计分布感知与频域双通道融合的时序预测模型[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 113-123.
[9]	景攀峰, 梁宇栋, 李超伟, 郭俊茹, 郭晋育. 基于师生学习的半监督图像去雾算法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2975-2983.
[10]	李进, 刘立群. 基于残差Swin Transformer的SAR与可见光图像融合[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2949-2956.
[11]	吕景刚, 彭绍睿, 高硕, 周金. 复频域注意力和多尺度频域增强驱动的语音增强网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2957-2965.
[12]	王芳, 胡静, 张睿, 范文婷. 内容引导下多角度特征融合医学图像分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3017-3025.
[13]	周金, 李玉芝, 张徐, 高硕, 张立, 盛家川. 复杂电磁环境下的调制识别网络[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2672-2682.
[14]	袁志超, 杨磊, 田井林, 魏晓威, 李康顺. 面向复杂约束多目标优化问题的双种群双阶段进化算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2656-2665.
[15]	陶永鹏, 柏诗淇, 周正文. 基于卷积和Transformer神经网络架构搜索的脑胶质瘤多组织分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2378-2386.