基于二维空间遍历长短时记忆网络的端到端车牌识别方法

doi:10.11772/j.issn.1001-9081.2024020210

《计算机应用》唯一官方网站 ›› 0, Vol. ›› Issue (): 257-261.DOI: 10.11772/j.issn.1001-9081.2024020210

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于二维空间遍历长短时记忆网络的端到端车牌识别方法

王骥¹, 黄远甲¹, 方炜¹, 谢文武²(), 熊文昌³, 李兴旺⁴

^1.华中师范大学物理科学与技术学院，武汉 430079
^2.湖南理工学院信息科学与工程学院，湖南岳阳 414000
^3.上海脉衍人工智能科技有限公司，上海 200032
^4.河南理工大学物理与电子信息学院，河南焦作 454000

收稿日期:2024-03-04 修回日期:2024-04-10 接受日期:2024-04-24 发布日期:2025-01-24 出版日期:2024-12-31
通讯作者: 谢文武
作者简介:王骥（1987—），男，湖北襄阳人，副教授，博士，主要研究方向：B5G/6G移动通信
黄远甲（1996—），男，河南信阳人，硕士研究生，主要研究方向：图像处理、计算机视觉
方炜（2000—），男，湖北孝感人，硕士研究生，主要研究方向：室内定位
谢文武（1979—），男，湖北荆州人，副教授，博士，主要研究方向：无线通信系统算法、教育大数据
熊文昌（1985—），男，江苏南京人，博士，主要研究方向：图像处理、计算机视觉
李兴旺（1981—），河南焦作人，副教授，博士，主要研究方向：5G及6G物理层传输技术。
基金资助:
国家自然科学基金资助项目(62101205);湖北省重点研发计划项目(2023BAB061)

End-to-end license plate recognition method based on 2D space traversal LSTM network

Ji WANG¹, Yuanjia HUANG¹, Wei FANG¹, Wenwu XIE²(), Wenchang XIONG³, Xingwang LI⁴

^1.College of Physical Science and Technology，Central China Normal University，Wuhan Hubei 430079，China
^2.School of Information Science and Engineering，Hunan University of Science and Technology，Yueyang Hunan 414000，China
^3.Shanghai Pulspread Artificial Intelligence Technology Company Limited，Shanghai 200032，China
^4.School of Physics and Electronic Information Engineering，Henan Polytechnic University，Jiaozuo Henan 454000，China

Received:2024-03-04 Revised:2024-04-10 Accepted:2024-04-24 Online:2025-01-24 Published:2024-12-31
Contact: Wenwu XIE

摘要/Abstract

摘要：

车牌识别方法是现代智能交通管理系统的重要组成部分，在许多领域得到了广泛的应用。然而，在实际应用场景中，存在多行牌照，传统方法在处理多行车牌时灵活性不够，无法实现高精度端到端识别。为此，提出一种基于二维空间遍历长短时记忆（2DST-LSTM）网络的端到端识别方法识别单行车牌和双行车牌。所提方法摒弃了以往的图像分割步骤，而以端到端的方式识别车牌，使车牌识别的效能和精度更高。2DST-LSTM可以提高车牌，尤其是双行车牌，在复杂环境下的识别效果。在多个数据集上的实验结果表明，所提方法对双行车牌的识别率最高达到了98.6%，证明了所提方法的有效性。

关键词: 车牌识别, 双行车牌, 端到端网络, 深度学习, 卷积神经网络

Abstract:

License plate recognition method is an important part of modern intelligent traffic management system and has been widely used in many fields. However， in practical application scenarios， there are multi-row license plates， and the traditional methods are not flexible enough to deal with multi-row license plates， and cannot achieve high-precision end-to-end recognition. Therefore， an end-to-end recognition method based on 2D Space Traversal Long Short-Term Memory （2DST-LSTM） network was proposed to recognize single-row and double-row license plates. The proposed method abandons the previous image segmentation step， and carries out license plate recognition in an end-to-end way， which makes the license plate recognition more efficient and accurate. 2DST-LSTM can improve the recognition effect of license plates， especially double-row license plates， in complex environment. Experimental results on multiple datasets show that the proposed method achieves the highest recognition rate up to 98.6% for double-row license plates， which verified its effectiveness.

Key words: license plate recognition, double-row license plate, end-to-end network, deep learning, convolutional neural network

中图分类号:

TP389.1

王骥, 黄远甲, 方炜, 谢文武, 熊文昌, 李兴旺. 基于二维空间遍历长短时记忆网络的端到端车牌识别方法[J]. 计算机应用, 0, (): 257-261.

Ji WANG, Yuanjia HUANG, Wei FANG, Wenwu XIE, Wenchang XIONG, Xingwang LI. End-to-end license plate recognition method based on 2D space traversal LSTM network[J]. Journal of Computer Applications, 0, (): 257-261.

图/表 10

参考文献 17

1	LAROCA R， SEVERO E， ZANLORENSI L A， et al. A robust real-time automatic license plate recognition based on the YOLO detector［C］// Proceedings of the 2018 International Joint Conference on Neural Networks. Piscataway： IEEE， 2018： 1-10.
2	WANG B， CHEN C L P. License plate character segmentation using key character location and projection analysis［C］// Proceedings of the 2018 International Conference on Security， Pattern Analysis， and Cybernetics. Piscataway： IEEE， 2018： 510-514.
3	SONG R， GUO F， WANG Y， et al. ASAHmap： an adaptive Chinese handwritten character segmentation algorithm for large-scale ancient handwritten document based on histogram projection and Gaussian kernel convolution map［C］// Proceedings of the 8th International Conference on Image， Vision and Computing. Piscataway： IEEE， 2023： 322-327.
4	张敬勋，张俊虎，赵宇波，等. 基于字符分割和LeNet-5网络的字符验证码识别［J］. 计算机测量与控制， 2023， 31（7）： 271-277.
5	LEE C Y， OSINDERO S. Recursive recurrent nets with attention modeling for OCR in the wild［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2231-2239.
6	ZOU Y， ZHANG Y， YAN J， et al. A robust license plate recognition model based on Bi-LSTM［J］. IEEE Access， 2020， 8： 211630-211641.
7	MA T， LIU Z， SI Y， et al. PSA-YOLO： license plate detection method based on pyramid segmentation attention in complex scenes［C］// Proceedings of the 7th International Conference on Image， Vision and Computing. Piscataway： IEEE， 2022： 238-243.
8	CAO Y， FU H， MA H. An end-to-end neural network for multi-line license plate recognition［C］// Proceedings of the 24th International Conference on Pattern Recognition. Piscataway： IEEE， 2018： 3698-3703.
9	XU X， ZHOU X D， LI Z， et al. EILPR： toward end-to-end irregular license plate recognition based on automatic perspective alignment［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（3）： 2586-2595.
10	董峻妃，郑伯川，杨泽静. 基于卷积神经网络的车牌字符识别［J］. 计算机应用， 2017， 37（7）： 2014-2018.
11	李悦，刘晨. 基于历史车牌识别数据的套牌车并行检测方法［J］. 计算机应用， 2016， 36（3）： 864-870.
12	穆世义，徐树公. 基于单字符注意力的全品类鲁棒车牌识别［J］. 自动化学报， 2023， 49（1）： 122-134.
13	GRAVES A， FERNÁNDEZ S， GOMEZ F，et al. Connectionist temporal classification： labelling unsegmented sequence data with recurrent neural networks［C］// Proceedings of the 23rd International Conference on Machine Learning. New York： ACM， 2006： 369-376.
14	SunlifeV. China-balanced-license-plate-recognition-dataset-330k［DS/OL］. ［2023-11-29］..
15	OpenITS. OpenDataV 3.0-功能车牌图像库数据［DS/OL］. ［2023-11-29］..
16	XU Z， YANG W， MENG A， et al. Towards end-to-end license plate detection and recognition： a large dataset and baseline［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11217. Cham： Springer， 2018： 261-277.
17	LUO S， LIU J. Research on car license plate recognition based on improved YOLOv5m and LPRNet［J］. IEEE Access， 2022， 10： 93692-93700.

方法	单行车牌	双行车牌	混合车牌
2DST-LSTM	95.9	98.5	98.6
LSTM	94.9	97.7	90.5
Cao等^［8］方法	97.1	94.7	95.3
Luo等^［17］方法	95.5	92.6	93.2

方法	单行车牌	双行车牌	混合车牌
2DST-LSTM	95.9	98.5	98.6
LSTM	94.9	97.7	90.5
Cao等^［8］方法	97.1	94.7	95.3
Luo等^［17］方法	95.5	92.6	93.2

方法	单行车牌	双行车牌	混合车牌
2DST-LSTM	98.3	97.2	98.7
LSTM	91.6	89.3	90.5
Cao等^［8］方法	98.0	93.2	94.7
Luo等^［17］方法	96.3	90.4	92.6

方法	单行车牌	双行车牌	混合车牌
2DST-LSTM	98.3	97.2	98.7
LSTM	91.6	89.3	90.5
Cao等^［8］方法	98.0	93.2	94.7
Luo等^［17］方法	96.3	90.4	92.6

方法	CCPD_Base	CCPD_Db	CCPD_Title	CCPD_Fn	CCPD_Weather	CCPD_Rotate	CCPD_Challenge	平均值
2DST-LSTM	98.6	91.7	98.6	80.9	97.1	96.4	84.1	92.5
LSTM	86.8	88.3	84.6	85.4	84.2	92.8	83.2	86.5

基于二维空间遍历长短时记忆网络的端到端车牌识别方法

End-to-end license plate recognition method based on 2D space traversal LSTM network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 17

相关文章 15

编辑推荐

Metrics

方法	计算量/MFLOPs	参数量/10⁶
2DST-LSTM	6 996	11.0
LSTM	7 116	15.0
Cao等^［8］方法	3 265	8.0
Luo等^［17］方法	14 438	1.3

[1]	周阳, 李辉. 基于语义和细节特征双促进的遥感影像建筑物提取网络[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1310-1316.
[2]	潘理虎, 彭守信, 张睿, 薛之洋, 毛旭珍. 面向运动前景区域的视频异常检测[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1300-1309.
[3]	王一丁, 王泽浩, 李耀利, 蔡少青, 袁媛. 多尺度2D-Adaboost的中药材粉末显微图像识别算法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1325-1332.
[4]	袁宝华, 陈佳璐, 王欢. 融合多尺度语义和双分支并行的医学图像分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 988-995.
[5]	陈瑞龙, 胡涛, 卜佑军, 伊鹏, 胡先君, 乔伟. 面向加密恶意流量检测模型的堆叠集成对抗防御方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 864-871.
[6]	耿海军, 董赟, 胡治国, 池浩田, 杨静, 尹霞. 基于Attention-1DCNN-CE的加密流量分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 872-882.
[7]	薛振华, 李强, 黄超. 视觉基础模型驱动的像素级图像异常检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 823-831.
[8]	李严, 叶冠华, 李雅文, 梁美玉. 基于丰度协调技术的企业ESG指标预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 670-676.
[9]	邓淼磊, 阚雨培, 孙川川, 徐海航, 樊少珺, 周鑫. 基于深度学习的网络入侵检测系统综述[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 453-466.
[10]	余松森, 林智凡, 薛国鹏, 徐建宇. 基于改进YOLOv8的轻量级大幅面瓷砖缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 647-654.
[11]	丁丹妮, 彭博, 吴锡. 受腹侧通路启发的脂肪肝超声图像分类方法VPNet[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 662-669.
[12]	张天骐, 谭霜, 沈夕文, 唐娟. 融合注意力机制和多尺度特征的图像水印方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 616-623.
[13]	王地欣, 王佳昊, 李敏, 陈浩, 胡光耀, 龚宇. 面向水声通信网络的异常攻击检测[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 526-533.
[14]	洪梓榕, 包广清. 基于集成学习的雷达自动目标识别综述[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 371-382.
[15]	张翰林, 王俊陆, 宋宝燕. 融合衍生特征的时间序列事件分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 428-435.