基于多维空间卷积信息增强的低质车牌信息超分辨率重建

doi:10.11772/j.issn.1001-9081.2024010121

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (1): 301-307.DOI: 10.11772/j.issn.1001-9081.2024010121

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于多维空间卷积信息增强的低质车牌信息超分辨率重建

张睿¹(), 惠永科¹, 张延军², 潘理虎¹

^1.太原科技大学计算机科学与技术学院，太原 030024
^2.太原科技大学机械工程学院，太原 030024

收稿日期:2024-02-02 修回日期:2024-04-24 接受日期:2024-04-24 发布日期:2024-05-09 出版日期:2025-01-10
通讯作者: 张睿
作者简介:张睿（1987—），男，山西太原人，副教授，博士，CCF高级会员，主要研究方向：智能信息处理、计算机视觉；zhangrui@tyust.edu.cn
惠永科（1998—），男，河南南阳人，硕士研究生，主要研究方向：计算机视觉；
张延军（1982—），男，山西太原人，教授，博士，主要研究方向：智能信息处理；
潘理虎（1974—），男，山西太原人，教授，博士，CCF高级会员，主要研究方向：智能信息处理。
基金资助:
山西省基础研究计划项目(20210302123216);山西省产教融合研究生联合培养示范基地项目(2022JD11);山西省机械产品质量司法鉴定中心企业委托项目(2023254);太原科技大学研究生联合培养示范基地项目(JD2022004)

Super-resolution reconstruction for low-quality license plate information based on multi-dimensional spatial convolutional information enhancement

Rui ZHANG¹(), Yongke HUI¹, Yanjun ZHANG², Lihu PAN¹

^1.College of Computer Science and Technology，Taiyuan University of Science and Technology，Taiyuan Shanxi 030024，China
^2.School of Mechanical Engineering，Taiyuan University of Science and Technology，Taiyuan Shanxi 030024，China

Received:2024-02-02 Revised:2024-04-24 Accepted:2024-04-24 Online:2024-05-09 Published:2025-01-10
Contact: Rui ZHANG
About author:HUI Yongke， born in 1998， M. S. candidate. His research interests include computer vision.
ZHANG Yanjun， born in 1982， Ph. D.， professor. His research interests include intelligent information processing.
PAN Lihu， born in 1974， Ph. D.， professor. His research interests include intelligent information processing.
Supported by:
Basic Research Program of Shanxi Province(20210302123216);Shanxi Provincial Industry-Education Integration Joint Graduate Training Demonstration Base Project(2022JD11);Enterprise Entrusted Project of Shanxi Provincial Machinery Product Quality Judicial Appraisal Center(2023254);Joint Graduate Training Demonstration Base Project of Taiyuan University of Science and Technology(JD2022004)

摘要/Abstract

摘要：

现有交通监控终端采集到的车辆影像通常存在远景低分辨率现象，并伴随有强噪、模糊、过曝、欠曝等一些不确定性像素影响因素，导致车牌信息智能识别的精度难以保证。针对上述问题，提出基于多维空间卷积信息增强的低质车牌信息超分辨率重建（LL-SR）网络。首先，利用卷积挖掘空间与通道特征点的相关性，聚合浅层特征；其次，从不同感受野和不同维度挖掘特征图之间的关联关系，从而恢复车牌信息的高频细节；最后，对得到的不同尺度特征进行跨通道像素级融合和矫正，以减少无用特征在上下文的传播，实现低质车牌信息的超分辨率重建。在太原车牌（LT）和美国车牌（LU）数据集上的实验结果表明，所提网络的峰值信噪比（PSNR）和结构相似性（SSIM）分别为26.682 4 dB和0.820 3及22.356 7 dB和0.781 3，相较于NGramSwin（N-Gram in Swin transformers）和CARN（CAscading Residual Network）分别提升了0.210 9 dB和1.736 1 dB、0.005 7和0.033 0及0.472 8 dB和1.419 2 dB、0.019 6和0.039 9；且重建后的车牌信息具有更好的视觉效果。

关键词: 低质车牌信息, 高质量重建, 卷积计算, 交通监控

Abstract:

Vehicle images collected by the existing traffic monitoring terminals often have low resolution in distant view， accompanied by uncertain pixel influencing factors such as strong noise， blur， overexposure， and underexposure， making it difficult to ensure accuracy of intelligent recognition of license plate information. In response to the above issue， Super-Resolution reconstruction for Low-quality License plate information based on multi-dimensional spatial convolutional information enhancement （LL-SR） network was proposed. Firstly， the correlation of feature points in space and channels mined by convolution were used to aggregate shallow feature. Secondly， correlation between feature maps was mined from different receptive fields and different dimensions， so as to recover high-frequency details of license plate information. Finally， the obtained features of different scales were fused and corrected at pixel level across channels to reduce propagation of useless features in context， thus achieving super-resolution reconstruction of low-quality license plate information. Experimental results on License plate of Taiyuan （LT） and License plates of the United States of America （LU） datasets show that the Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） of the proposed network are 26.682 4 dB， 0.820 3 and 22.356 7 dB， 0.781 3 respectively， which are improved by 0.210 9 dB， 1.736 1 dB； 0.005 7， 0.033 0； and 0.472 8 dB， 1.419 2 dB； 0.019 6， 0.039 9 respectively compared to those of NGramSwin （N-Gram in Swin transformers） and CARN （CAscading Residual Network）. Moreover， the license plate information reconstructed by the proposed network has better visual effects.

Key words: low-quality license plate information, high-quality reconstruction, convolution computation, traffic monitoring

中图分类号:

TP391.4

张睿, 惠永科, 张延军, 潘理虎. 基于多维空间卷积信息增强的低质车牌信息超分辨率重建[J]. 计算机应用, 2025, 45(1): 301-307.

Rui ZHANG, Yongke HUI, Yanjun ZHANG, Lihu PAN. Super-resolution reconstruction for low-quality license plate information based on multi-dimensional spatial convolutional information enhancement[J]. Journal of Computer Applications, 2025, 45(1): 301-307.

图/表 15

图1 LL-SR结构

Fig. 1 Structure of LL-SR

图2 PCM结构

Fig. 2 Structure of PCM

图3 ANM结构

Fig. 3 Structure of ANM

图4 CCN和SN的空间邻近关系

Fig. 4 Spatial proximity relationship of CCN and SN

图5 PIEM结构

Fig. 5 Structure of PIEM

图6 SPIEM和CPIEM整体结构

Fig. 6 Ooverall structure of SPIEM and CPIEM

图7 空间注意力的R操作

Fig. 7 R operation of spatial attention

图8 通道注意力的R操作

Fig. 8 R operation of channel attention

图9 CCM结构

Fig. 9 Structure of CCM

表1 消融实验结果

Tab. 1 Results of ablation experiments

ANM	PIEM	CCM	参数量/10³	LT		LU
ANM	PIEM	CCM	参数量/10³	PSNR/dB	SSIM	PSNR/dB	SSIM
√			159	24.737 4	0.777 9	20.678 2	0.711 6
√	√		528	25.892 6	0.804 2	21.790 4	0.761 6
√		√	565	26.353 2	0.814 2	21.825 4	0.754 9
√	√	√	934	26.682 4	0.820 3	22.356 7	0.781 3

图10 TL数据集上PIEM个数对网络的影响

Fig. 10 Influence of PIEM mumber on network in TL dataset

图11 不同PIEM个数可视化对比

Fig. 11 Visual comparison of different PIEM numbers

表2 不同网络在数据集LT和LU上的量化比较

Tab. 2 Quantitative comparison of different networks on TL and LU datasets

网络	参数量/10³	LT		LU		浮点运算量/GFLOPs	推理速度/（张·秒^-1）
网络	参数量/10³	PSNR/dB	SSIM	PSNR/dB	SSIM	浮点运算量/GFLOPs	推理速度/（张·秒^-1）
CARN^［22］	1 592	24.946 3	0.787 3	20.937 5	0.741 4	6.463	4.73
IMDN^［23］	715	25.714 7	0.800 8	21.372 4	0.745 4	2.909	4.12
MAFFSRN^［24］	830	25.910 4	0.800 9	20.903 5	0.725 1	3.163	1.81
SwinIR^［4］	897	26.466 2	0.814 5	21.997 5	0.763 6	3.769	2.12
RLFN^［5］	543	25.438 4	0.796 2	21.463 5	0.744 9	2.120	4.30
ESRT^［6］	751	25.991 4	0.802 4	21.510 2	0.745 7	4.169	1.99
NGramSwin^［7］	1 201	26.471 5	0.814 6	21.883 9	0.761 7	3.826	0.94
LL-SR	934	26.682 4	0.820 3	22.356 7	0.781 3	3.614	2.21

图12 低质车牌影像重建的可视化效果对比

Fig. 12 Comparison of visual effects of low-quality license plate image reconstruction

图13 真实场景下的车牌重建效果对比

Fig. 13 License plate reconstruction effect comparison in real scenes

参考文献 24

1	刘小宇，陈怀新，刘壁源，等.自适应置信度阈值的非限制场景车牌检测算法［J］.计算机应用， 2023， 43（1）： 67-73.
	LIU X Y， CHEN H X， LIU B Y， et al. License plate detection algorithm in unrestricted scenes based on adaptive confidence threshold ［J］. Journal of Computer Applications， 2023， 43（1）： 67-73.
2	张芳，赵东旭，肖志涛，等.单幅图像超分辨率重建技术研究进展［J］.自动化学报， 2022， 48（11）： 2634-2654.
	ZHANG F， ZHAO D X， XIAO Z T， et al. Research progress of single image super-resolution reconstruction technology ［J］. Acta Automatica Sinica， 2022， 48（11）： 2634-2654.
3	缪永伟，张新杰，任瀚实，等.基于通道多尺度融合的场景深度图超分辨率网络［J］.计算机辅助设计与图形学学报， 2023， 35（1）： 37-47.
	LIAO Y W， ZHANG X J， REN H S， et al. A channel multi-scale fusion network for scene depth map super-resolution ［J］. Journal of Computer-Aided Design and Computer Graphics， 2023， 35（1）： 37-47.
4	LIANG J， CAO J， SUN G， et al. SwinIR： image restoration using Swin Transformer ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision Workshops. Piscataway： IEEE， 2021： 1833-1844.
5	KONG F， LI M， LIU S， et al. Residual local feature network for efficient super-resolution ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2022： 765-775.
6	LU Z， LI J， LIU H， et al. Transformer for single image super-resolution ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2022： 456-465.
7	CHOI H， LEE J， YANG J. N-Gram in Swin Transformers for efficient lightweight image super-resolution ［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 2071-2081.
8	吴炜，杨晓敏，余艳梅，等.核偏最小二乘算法的图像超分辨率算法［J］.电子科技大学学报， 2011， 40（1）： 105-110.
	WU W， YANG X M， XU Y M， et al. Image super-resolution using KPLS ［J］. Journal of University of Electronic Science and Technology of China， 2011， 40（1）： 105-110.
9	徐胜军，邓博文，史亚，等.一种编解码结构的车牌图像超分辨率网络［J］.西安交通大学学报， 2022， 56（10）： 101-110.
	XU S J， DENG B W， SHI Y， et al. An encoder-decoder-based super resolution network for license plate images ［J］. Journal of Xi’an Jiaotong University， 2022， 56（10）： 101-110.
10	LIN M， LIU L， WANG F， et al. License plate image reconstruction based on generative adversarial networks ［J］. Remote Sensing， 2021， 13（15）： No.3018.
11	EL-SHAL I H， FAHMY O M， ELATTAR M A. License plate image analysis empowered by Generative Adversarial neural Networks （GANs）［J］. IEEE Access， 2022， 10： 30846-30857.
12	SHI W， CABALLERO J， HUSZÁR F， et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1874-1883.
13	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.
14	MIN K， LEE G H， LEE S W. Attentional feature pyramid network for small object detection ［J］. Neural Networks， 2022， 155： 439-450.
15	ZAMIR S W， ARORA A， KHAN S， et al. Restormer： efficient transformer for high-resolution image restoration ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 5718-5729.
16	WANG H， CHEN X， NI B， et al. Omni aggregation networks for lightweight image super-resolution ［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 22378-22387.
17	CHOLLET F. Xception： deep learning with depthwise separable convolutions ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1800-1807.
18	DING X， ZHANG X， ZHOU J， et al. Scaling up your kernels to 31×31： revisiting large kernel design in CNNs ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 11953-11965.
19	LIU J J， HOU Q， CHENG M M， et al. Improving convolutional networks with self-calibrated convolutions ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 10093-10102.
20	李键红，吴亚榕，詹瑾.挖掘理想重建图像自相似性的超分辨率［J］.湖南大学学报（自然科学版）， 2021， 48（8）： 149-160.
	LI J H， WU Y R， ZHAN J. Image super-resolution by exploiting self-similarity of ideal reconstruction ［J］. Journal of Hunan University （Natural Sciences）， 2021， 48（8）： 149-160.
21	李颖，黄超，孙成栋，等.真实复杂场景下基于残差收缩网络的单幅图像超分辨率方法［J］.计算机应用， 2023， 43（12）： 3903-3910.
	LI Y， HUANG C， SUN C D， et al. Single image super-resolution method based on residual shrinkage network in real complex scenes ［J］. Journal of Computer Applications， 2023， 43（12）： 3903-3910.
22	AHN N， KANG B， SOHN K A. Fast， accurate， and lightweight super-resolution with cascading residual network ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11214. Cham： Springer， 2018： 256-272.
23	HUI Z， GAO X B， YANG Y C， et al. Lightweight image super-resolution with information multi-distillation network ［C］// Proceedings of the 27th ACM International Conference on Multimedia. New York： ACM， 2018： 2024-2032.
24	MUQEET A， HWANG J， YANG S， et al. Multi-attention based ultra lightweight image super-resolution ［C］// Proceedings of the 2020 European Conference on Computer Vision Workshops， LNCS 12537. Cham： Springer， 2020： 103-118.

[1]	陈凯, 于彦伟, 赵金东, 宋鹏. 基于城市交通监控大数据的工作位置推理方法[J]. 计算机应用, 2021, 41(1): 177-184.
[2]	陈立潮, 张雷, 曹建芳, 张睿. 梯度直方图卷积特征的胶囊网络在交通监控下的车型分类[J]. 计算机应用, 2020, 40(10): 2881-2889.
[3]	任秀丽, 彦琨. 交通监控中基于模糊聚类的无线传感网MAC协议[J]. 计算机应用, 2016, 36(10): 2653-2658.

基于多维空间卷积信息增强的低质车牌信息超分辨率重建

Super-resolution reconstruction for low-quality license plate information based on multi-dimensional spatial convolutional information enhancement

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 24

相关文章 3

编辑推荐

Metrics