交通道路行驶车辆车标识别算法

doi:10.11772/j.issn.1001-9081.2021040860

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (3): 810-817.DOI: 10.11772/j.issn.1001-9081.2021040860

• 2021年中国计算机学会人工智能会议(CCFAI 2021) • 上一篇

交通道路行驶车辆车标识别算法

李讷¹, 徐光柱¹^,²(), 雷帮军¹^,², 马国亮³, 石勇涛¹^,²

^1.三峡大学计算机与信息学院，湖北宜昌 443002
^2.水电工程智能视觉监测湖北省重点实验室（三峡大学），湖北宜昌 443002
^3.宜昌市公安交通警察支队，湖北宜昌 443002

收稿日期:2021-05-25 修回日期:2021-06-23 接受日期:2021-06-25 发布日期:2021-11-09 出版日期:2022-03-10
通讯作者: 徐光柱
作者简介:李讷（1996—），女，山西长治人，硕士研究生，CCF会员，主要研究方向：数字图像处理、目标检测
雷帮军（1973—），男，湖北宜昌人，教授，博士，主要研究方向：人工智能、计算机视觉
马国亮（1974—），男，湖北宜昌人，工程师，主要研究方向：智能交通
石勇涛（1978—），男，湖北宜昌人，副教授，博士，主要研究方向：数字图像处理、模式识别。
基金资助:
湖北省中央引导地方科技发展专项(2019ZYYD007)

Logo recognition algorithm for vehicles on traffic road

Ne LI¹, Guangzhu XU¹^,²(), Bangjun LEI¹^,², Guoliang MA³, Yongtao SHI¹^,²

^1.College of Computer and Information Technology，China Three Gorges University，Yichang Hubei 443002，China
^2.Hubei Key Laboratory of Intelligent Vision Monitoring for Hydropower Engineering （China Three Gorges University），Yichang Hubei 443002，China
^3.Traffic Police Detachment of Public Security Bureau of Yichang City，Yichang Hubei 443002，China

Received:2021-05-25 Revised:2021-06-23 Accepted:2021-06-25 Online:2021-11-09 Published:2022-03-10
Contact: Guangzhu XU
About author:LI Ne， born in 1996， M. S. candidate. Her research interests include digital image processing， target detection.
LEI Bangjun， born in 1973， Ph. D.， professor. His research interests include artificial intelligence， computer vision.
MA Guoliang， born in 1974， engineer. His research interests include intelligent transportation.
SHI Yongtao，born in 1978， Ph. D.， associate professor. His research interests include digital image processing， pattern recognition.
Supported by:
Hubei Provincial Central Government Guiding Local Science and Technology Development Special Project(2019ZYYD007)

摘要/Abstract

摘要：

为解决交通道路行驶车辆车标识别中存在的目标小、噪声大、种类多的问题，提出了一种基于深度学习的目标检测算法与基于形态学模板匹配算法相结合的方法，并设计了一种高准确度且能应对新类型车标的识别系统。首先，采用通过K-Means++重新聚类锚框值，并引入残差网络的YOLOv4进行车标的一步定位；其次，通过对标准车标图像进行预处理及分割，构建二值车标模板库；接着，利用带色彩恢复的多尺度视网膜图像增强算法（MSRCR）、最大类间方差法（OTSU）等对定位到的车标进行预处理；最后，将处理好的车标与模板库中的标准车标进行汉明距离计算，求出最佳匹配。车标检测实验中，改进的YOLOv4检测精度均优于原始YOLOv4、基于车牌位置的车标两步定位法和基于散热器栅格背景的车标定位法，达到99.04%；速度略低于原始YOLOv4，高于另外两者，达到每秒50.62帧。车标识别实验中基于形态学模板匹配的识别精度均高于传统的方向梯度直方图（HOG）、局部二值模式（LBP）和卷积神经网络，达到92.68%。实验结果表明基于深度学习的车标检测算法有较高的精度和较快的速度，形态学模板匹配方法在光照变化和噪声污染的情况下仍能保持较高的识别精度。

关键词: 车标定位, 车标识别, 深度学习, 特征提取, 模板匹配

Abstract:

In order to solve the problems of small targets， large noises， and many types in the logo recognition for vehicles on traffic road， a method combining a target detection algorithm based on deep learning and a template matching algorithm based on morphology was proposed， and a recognition system with high accuracy and capable of dealing with new types of vehicle logo was designed. First， K-Means++ was used to re-cluster the anchor box values and residual network was introduced into YOLOv4 for one-step positioning of the vehicle logo. Secondly， the binary vehicle logo template library was built by preprocessing and segmenting standard vehicle logo images. Then， the positioned vehicle logo was preprocessed by MSRCR （Multi-Scale Retinex with Color Restoration）， OTSU binarization， etc. Finally， the Hamming distance was calculated between the processed vehicle logo and the standard vehicle logo in the template library and the best match was found. In the vehicle logo detection experiment， the improved YOLOv4 detection achieves the higher accuracy of 99.04% compared to the original YOLOv4， two-stage positioning method of vehicle logo based on license plate position and the vehicle logo positioning method based on radiator grid background； its speed is slightly lower than that of the original YOLOv4， higher than those of the other two， reaching 50.62 fps （frames per second）. In the vehicle logo recognition experiment， the recognition accuracy based on morphological template matching is higher compared to traditional Histogram Of Oriented Gradients （HOG）， Local Binary Pattern （LBP） and convolutional neural network， reaching 91.04%. Experimental results show that the vehicle logo detection algorithm based on deep learning has higher accuracy and faster speed. The morphological template matching method can maintain a high recognition accuracy under the conditions of light change and noise pollution.

Key words: vehicle logo positioning, vehicle logo recognition, deep learning, feature extraction, template matching

中图分类号:

TP391

李讷, 徐光柱, 雷帮军, 马国亮, 石勇涛. 交通道路行驶车辆车标识别算法[J]. 计算机应用, 2022, 42(3): 810-817.

Ne LI, Guangzhu XU, Bangjun LEI, Guoliang MA, Yongtao SHI. Logo recognition algorithm for vehicles on traffic road[J]. Journal of Computer Applications, 2022, 42(3): 810-817.

图/表 24

图1 YOLOv4网络结构

Fig. 1 Network structure of YOLOv4

图2 残差学习单元

Fig. 2 Residual learning unit

图3 密集连接块

Fig. 3 DenseNet block

图4 改进后的YOLOv4输出层

Fig. 4 Output layer of improved YOLOv4

图5 车标二值化

Fig. 5 Vehicle logo binarization

图6 车标模板库

Fig. 6 Vehicle logo template library

图7 模板匹配流程

Fig. 7 Flowchart of template matching

图8 原始图像和MSRCR增强图像后的OTSU二值化图像

Fig. 8 OTSU binarized images of original image and MSRCR enhanced image

图9 不同二值化算法处理后的效果对比

Fig. 9 Processing effect comparison of different binarization algorithms

图10 汉明距离计算原理

Fig. 10 Calculation principle of Hamming distance

图11 车标检测数据集

Fig. 11 Vehicle logo detection dataset

图12 数据扩增效果

Fig. 12 Data augmentation effect

图13 实验流程

Fig. 13 Experimental flowchart

表1 实验数据集类型分布

Tab. 1 Distribution of experimental dataset types

数据集类型	训练集	测试集
车辆正面	18 000	6 500
车辆背面	8 000	2 500
车辆侧面	4 000	1 000

表2 原始YOLOv4和改进的YOLOv4车标检测结果

Tab. 2 Vehicle logo detection results of original YOLOv4 and improved YOLOv4

算法	准确率/%	召回率/%	速度/fps
YOLOv4	97.38	97.43	50.64
K-Means++_YOLOv4	98.04	98.00	50.64
ResNet_YOLOv4	98.37	98.40	50.62
本文算法	99.04	98.27	50.62

表3 不同车标定位算法的准确率和时间结果

Tab. 3 Accuracy and time results of different vehicle logo positioning algorithms

算法	测试集	正确数	准确率/%	平均时间/s
文献［2］算法	200	168	84.0	0.862 0
文献［4］算法	200	173	86.5	1.224 6
YOLOv4	200	197	98.5	0.005 0
本文算法	200	200	100.0	0.005 2

图14 本文算法车标检测效果

Fig. 14 Vehicle logo detection effect of proposed algorithm

图15 本文算法对微小车标检测效果

Fig. 15 Small vehicle logo detection effect of proposed algorithm

图16 未知车标检测效果

Fig. 16 Effect of unknown vehicle logo detection

图17 模板匹配结果

Fig. 17 Result of template matching

图18 分类网络损失函数变化曲线

Fig. 18 Loss function change curve of classification network

图19 不同方法对同一车标的识别过程

Fig. 19 Recognition process of the same vehicle logo by different methods

表4 模板匹配与深度学习方法车标识别结果比对

Tab. 4 Comparison of vehicle logo recognition results between template matching and deep learning methods

序号	车标名称	测试集样本数	模板匹配		DenseNet201
序号	车标名称	测试集样本数	正确数	准确率/%	正确数	准确率/%
1	讴歌	116	116	100.00	101	87.07
2	北京汽车	102	87	85.29	85	83.33
3	北汽幻速	174	157	90.23	158	90.80
4	宝骏	159	147	92.45	140	88.05
5	宝马	173	163	94.22	153	88.44
6	比亚迪	132	115	87.12	104	78.79
7	凯迪拉克	100	86	86.00	86	86.00
8	长安之星	130	118	90.77	113	86.92
9	奇瑞	121	103	85.12	96	79.34
10	沃尔沃	172	168	97.67	160	93.02
11	广汽传祺	124	116	93.55	113	91.13
12	铃木	166	161	96.99	154	92.77
13	江淮	231	208	90.04	227	98.27
14	东风	131	115	87.79	121	92.37
15	福田	122	112	91.80	109	89.34
16	三菱	180	178	98.89	169	93.89
17	尼桑	194	184	94.85	181	93.30

表5 不同方法车标识别准确率结果对比

Tab. 5 Comparison of vehicle logo recognition results by different methods

序号	车标名称	测试集样本数	准确率/%
序号	车标名称	测试集样本数	HOG	LBP	DenseNet201	本文方法
平均准确率			86.59	90.87	92.16	92.68
1	奥迪	150	86.67	88.67	88.00	92.00
2	中国一汽	150	87.33	89.33	88.67	88.00
3	雪铁龙	200	88.00	90.00	95.00	86.00
4	大众	200	95.00	94.00	98.50	99.00
5	现代	150	75.00	93.33	94.00	93.33
6	雪佛兰	150	80.00	90.67	95.33	96.00
7	长安	200	85.00	92.50	90.50	93.50
8	丰田	100	87.00	89.00	94.00	87.00
9	本田	200	91.00	89.50	86.50	93.50
10	奔驰	150	90.67	92.00	85.33	89.33
11	长城	150	92.00	87.33	96.00	93.33
12	马自达	200	74.00	89.00	97.00	94.50
13	五菱宏光	150	94.00	96.00	89.33	99.33

参考文献 32

1	蒋菠. 基于视频图像的汽车车标检测技术研究与实现［D］.成都：西南交通大学，2012： 1-2.
	JIANG B. Research and implementation of vehicle logo detection technology based on video images ［D］. Chengdu： Southwest Jiaotong University， 2012：1-2.
2	李哲，于梦茹.基于多种LBP特征集成学习的车标识别［J］.计算机工程与应用，2019，55（20）：134-138. 10.3778/j.issn.1002-8331.1806-0330
	LI Z， YU M R. Vehicle logo recognition based on integrated learning of multiple LBP features［J］. Computer Engineering and Applications， 2019， 55（20）： 134-138. 10.3778/j.issn.1002-8331.1806-0330
3	杨正云，王林.视频监控系统中运动车辆的车标识别技术［J］.遵义师范学院学报，2016，18（3）：110-114. 10.3969/j.issn.1009-3583.2016.03.027
	YANG Z Y， WANG L. Vehicle logo recognition technology for moving vehicles in video surveillance system ［J］. Journal of Zunyi Normal University， 2016， 18（3）： 110-114. 10.3969/j.issn.1009-3583.2016.03.027
4	李熙莹，吕硕，袁敏贤，等.基于散热器栅格背景精确分类的车标定位方法［J］.计算机工程与应用，2017，53（2）：206-213. 10.3778/j.issn.1002-8331.1604-0189
	LI X Y， LYU S， YUAN M X， et al. Vehicle logo positioning method based on accurate classification of radiator grid background［J］. Computer Engineering and Applications， 2017， 53（2）： 206-213. 10.3778/j.issn.1002-8331.1604-0189
5	张闯，王景龙.OPENCV在汽车车标识别中的研究与实践［J］.福建电脑，2020，36（11）：1-4.
	ZHANG C， WANG J L. Research and practice of OPENCV in vehicle logo recognition［J］. Fujian Computer， 2020， 36（11）： 1-4.
6	李哲，于梦茹.基于改进的HOG与LBP特征值的车标识别方法［J］.计算机与数字工程，2019，47（12）：3154-3159.
	LI Z， YU M R. Vehicle logo recognition method based on improved HOG and LBP features［J］. Computer and Digital Engineering， 2019， 47（12）： 3154-3159.
7	耿庆田，于繁华，王宇婷，等.基于SIFT的车标识别算法［J］.吉林大学学报（理学版），2018，56（3）：639-644. 10.3788/OPE.20182605.1267
	GENG Q T， YU F H， WANG Y T， et al. Vehicle logo recognition algorithm based on SIFT［J］. Journal of Jilin University （Science Edition）， 2018， 56（3）： 639-644. 10.3788/OPE.20182605.1267
8	张硕.基于Adaboost的车标识别方法研究［J］.中国安防，2014（5）：85-89. 10.3969/j.issn.1673-7873.2014.03.017
	ZHANG S. Research on vehicle logo recognition method based on Adaboost［J］. China Security， 2014（5）：85-89. 10.3969/j.issn.1673-7873.2014.03.017
9	HUANG Y， WU R， SUN Y， et al. Vehicle logo recognition system based on convolutional neural networks with a pretraining strategy ［J］. IEEE Transactions on Intelligent Transportation Systems， 2015，16（4）：1951-1960. 10.1109/tits.2014.2387069
10	叶玉双，杨洁.基于MFC+opencv的车标识别系统［J］.计算机时代，2020（12）：6-9.
	YE Y S， YANG J. Vehicle logo recognition system based on MFC+OpenCV［J］. Computer Era， 2020（12）： 6-9.
11	GIRSHICK R， DONAHUE J， DARRELL T. Rich feature hierarchies for accurate object detection and semantic segmentation［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 580-587. 10.1109/cvpr.2014.81
12	GIRSHICK R. Fast R-CNN［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015：1440-1448. 10.1109/iccv.2015.169
13	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 39（6）： 1137-1149. 10.1109/tpami.2016.2577031
14	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788. 10.1109/cvpr.2016.91
15	REDMON J， FARHADI A. YOLO9000： better， faster， stronger［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 7263-7271. 10.1109/cvpr.2017.690
16	REDMON J， FARHADI A. YOLOv3： an incremental improvement［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition， Piscataway： IEEE， 2018：1-6. 10.1109/cvpr.2018.00430
17	BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection［J］. Computer Vision and Pattern Recognition， 2020，17（9）：198-215.
18	WANG C Y， LIAO H Y M， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 390-391. 10.1109/cvprw50498.2020.00203
19	HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（9）：1904-1916. 10.1109/tpami.2015.2389824
20	WANG K， LIEW J H， ZOU Y， et al. PANet： few-shot image semantic segmentation with prototype alignment ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 9197-9206. 10.1109/iccv.2019.00929
21	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2117-2125. 10.1109/cvpr.2017.106
22	MISRA D. Mish： A self regularized non-monotonic neural activation function［EB/OL］. ［2021-06-04］. .
23	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
24	HUANG G， LIU Z， MAATEN L VAN DER， et al. Densely connected convolutional networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 4700-4708. 10.1109/cvpr.2017.243
25	VASSILVITSKII S， ARTHUR D. K-means++： the advantages of careful seeding［C］// Proceedings of the 18th Annual ACM-SIAM Symposium on Discrete Algorithms. Piscataway： IEEE， 2006： 1027-1035.
26	JOBSON D J， RAHMAN Z， WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes［J］. IEEE Transactions on Image Processing， 1997， 6（7）： 965-976. 10.1109/83.597272
27	徐建东.基于最小二乘法拟合的Otsu快速图像分割方法［J］.常州大学学报（自然科学版），2021，33（1）：70-76.
	XU J D. Otsu fast image segmentation method based on least square fitting［J］. Journal of Changzhou University （Natural Science Edition）， 2021， 33（1）： 70-76.
28	时春霖，杨培章，张超，等.基于Kittler最小误差分割算法的小视场星图分割［J］.西南交通大学学报， 2021，56（1）：168-175.
	SHI C L， YANG P Z， ZHANG C， et al. Small field of view star image segmentation based on Kittler minimum error segmentation algorithm［J］. Journal of Southwest Jiaotong University， 2021， 56（1）：168-175.
29	田梦娜，徐泮林，丁鹏文.基于Matlab的边缘检测算法研究［J］.测绘与空间地理信息，2020，43（2）：197-199. 10.3969/j.issn.1672-5867.2020.02.056
	TIAN M N， XU P L， DING P W. Research on edge detection algorithm based on Matlab［J］. Surveying and Spatial Geographic Information， 2020， 43（2）：197-199. 10.3969/j.issn.1672-5867.2020.02.056
30	李迪，徐光柱，王亚文，等.反馈式ICM神经网络和FPF相结合的剪影识别［J］.广西大学学报（自然科学版），2018，43（3）：1089-1096.
	LI D， XU G Z， WANG Y W， et al. Silhouette recognition combined with feedback ICM neural network and FPF［J］. Journal of Guangxi University （Natural Science Edition）， 2018， 43（3）：1089-1096.
31	HUANG Y， WU R， SUN Y， et al. Vehicle logo recognition system based on convolutional neural networks with a pretraining strategy［J］. IEEE Transactions on Intelligent Transportation Systems， 2015， 16（4）：1951-1960. 10.1109/tits.2014.2387069
32	YE Y， WANG J， LU J， et al. Vehicle logo recognition based on overlapping enhanced patterns of oriented edge magnitudes［J］. Computers & Electrical Engineering， 2018， 71：273-283. 10.1016/j.compeleceng.2018.07.045

[1]	陈亭秀, 尹建芹. 基于关键帧筛选网络的视听联合动作识别[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 731-735.
[2]	于婉莹, 梁美玉, 王笑笑, 陈徵, 曹晓雯. 基于深度注意力网络的课堂教学视频中学生表情识别与智能教学评估[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 743-749.
[3]	李俊伯, 秦品乐, 曾建潮, 李萌. 基于超分辨率网络的CT三维重建算法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 584-591.
[4]	陈薪羽, 刘明哲, 任俊, 汤影. 基于多列卷积神经网络的参数异步更新算法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 395-403.
[5]	曹建荣, 朱亚琴, 张玉婷, 吕俊杰, 杨红娟. 基于关节点特征的跌倒检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 622-630.
[6]	马敬奇, 雷欢, 陈敏翼. 基于AlphaPose优化模型的老人跌倒行为检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 294-301.
[7]	吴洁, 张师天, 谢海滨, 杨光. 基于多影像中心磁共振成像数据的半监督膝盖异常分类[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 316-324.
[8]	彭宇, 李晓瑜, 胡世杰, 刘晓磊, 钱伟中. 基于BERT的三阶段式问答模型[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 64-70.
[9]	谢德峰, 吉建民. 融入句法感知表示进行句法增强的语义解析[J]. 计算机应用, 2021, 41(9): 2489-2495.
[10]	代雨柔, 杨庆, 张凤荔, 周帆. 基于自监督学习的社交网络用户轨迹预测模型[J]. 计算机应用, 2021, 41(9): 2545-2551.
[11]	赵宏, 孔东一. 图像特征注意力与自适应注意力融合的图像内容中文描述[J]. 计算机应用, 2021, 41(9): 2496-2503.
[12]	徐江浪, 李林燕, 万新军, 胡伏原. 结合目标检测的室内场景识别方法[J]. 计算机应用, 2021, 41(9): 2720-2725.
[13]	陈成瑞, 孙宁, 何世彪, 廖勇. 面向C-V2X通信的基于深度学习的联合信道估计与均衡算法[J]. 计算机应用, 2021, 41(9): 2687-2693.
[14]	郑志强, 胡鑫, 翁智, 王雨禾, 程曦. 基于改进DenseNet的牛眼图像特征提取方法[J]. 计算机应用, 2021, 41(9): 2780-2784.
[15]	曹玉红, 徐海, 刘荪傲, 王紫霄, 李宏亮. 基于深度学习的医学影像分割研究综述[J]. 《计算机应用》唯一官方网站, 2021, 41(8): 2273-2287.

交通道路行驶车辆车标识别算法

Logo recognition algorithm for vehicles on traffic road

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 24

参考文献 32

相关文章 15

编辑推荐

Metrics