面向配电柜字符识别的YOLOv7-MSBP目标定位算法

doi:10.11772/j.issn.1001-9081.2023101496

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (10): 3191-3199.DOI: 10.11772/j.issn.1001-9081.2023101496

• 多媒体计算与计算机仿真 • 上一篇下一篇

面向配电柜字符识别的YOLOv7-MSBP目标定位算法

王呈¹(), 王炀¹, 荣英佼²

^1.江南大学物联网工程学院，江苏无锡 214122
^2.近地面探测技术重点实验室，江苏无锡 214035

收稿日期:2023-11-06 修回日期:2024-01-11 接受日期:2024-01-17 发布日期:2024-10-15 出版日期:2024-10-10
通讯作者: 王呈
作者简介:王呈（1983—），男，江苏无锡人，副教授，博士，主要研究方向：非线性系统建模与控制、机器学习、数据挖掘 Wangc@jiangnan.edu.cn
王炀（1998—），男，山东烟台人，硕士，主要研究方向：图像处理、深度学习
荣英佼（1978—），女，江苏无锡人，工程师，硕士，主要研究方向：信号处理、目标检测。

YOLOv7-MSBP target location algorithm for character recognition of power distribution cabinet

Cheng WANG¹(), Yang WANG¹, Yingjiao RONG²

^1.School of Internet of Things Engineering，Jiangnan University，Wuxi Jiangsu 214122，China
^2.Science and Technology on Near?surface Detection Laboratory，Wuxi Jiangsu 214035，China

Received:2023-11-06 Revised:2024-01-11 Accepted:2024-01-17 Online:2024-10-15 Published:2024-10-10
Contact: Cheng WANG
About author:WANG Yang， born in 1998， M. S. His research interests include image processing， deep learning
RONG Yingjiao， born in 1978， M. S.， engineer. Her research interests include signal processing， target detection.
Supported by:
Fund of Key Laboratory of National Defense(6142414220203)

摘要/Abstract

摘要：

通过机器视觉算法精确定位配电柜仪表的位置是实现仪表智能化识别的关键。针对配电柜背景复杂、字符尺度多样和相机像素低而导致的目标定位精度不高问题，提出一种面向配电柜字符识别的YOLOv7-MSBP目标定位算法。首先，设计Micro-branch检测分支，改进初始锚框铺设间隔，从而提高对小目标的检测精度。其次，引入双向特征金字塔网络（BiFPN）跨尺度融合不同层特征值，以改善因下采样造成的细节特征丢失、特征融合不充分的现象；同时，设计同步混合阈卷积注意力模块（Syn-CBAM），加权融合通道和空间注意力特征，以提升算法的特征提取能力；并且，在主干网络引入部分卷积（PConv）模块，以降低算法冗余和延迟，提高检测速度。最后，将YOLOv7-MSBP的定位结果送入Paddle OCR（Optical Character Recognition）模型识别字符。实验结果表明，YOLOv7-MSBP算法的平均精度均值（mAP）达到93.2%，与YOLOv7算法相比提高了4.3个百分点，可见所提算法能够快速准确定位识别配电柜字符，验证了所提算法的有效性。

关键词: YOLOv7算法, 仪表识别, 注意力机制, 双向特征金字塔, 机器视觉

Abstract:

Accurately locating the instrument position of power distribution cabinet through machine vision is the key to realize intelligent identification of instruments. Aiming at the problem of low target positioning accuracy caused by complex background of power distribution cabinet， various character scales and small camera pixels， a YOLOv7-MSBP target location algorithm for character recognition of power distribution cabinet was proposed. Firstly， a Micro-branch detection branch was designed and the initial anchor box laying interval was changed to improve the detection accuracy for small targets. Secondly， Bi-directional Feature Pyramid Network （BiFPN） was introduced to fuse the feature values of different layers across scales， thereby improving the situations of the loss of detailed features and insufficient feature fusion caused by downsampling. Meanwhile， Synchronous Convolutional Block Attention Module （Syn-CBAM） was designed， channel and spatial attention features were fused with weights， then the feature extraction ability of the algorithm was improved. And a Partial Convolution （PConv） module was introduced in the backbone network to reduce model redundancy and delay， and increase detection speed. Finally， the positioning results of YOLOv7-MSBP were sent to Paddle OCR （Optical Character Recognition） model for character recognition. Experimental results show that the mean Average Precision （mAP） of YOLOv7-MSBP algorithm reaches 93.2%， which is 4.3 percentage points higher than that of YOLOv7 algorithm. It can be seen that the proposed algorithm can locate and recognize the characters of the power distribution cabinet quickly and accurately， which verifies the effectiveness of the proposed algorithm.

Key words: YOLOv7 algorithm, instrument identification, attention mechanism, Bi-directional Feature Pyramid Network (BiFPN), machine vision

中图分类号:

TP391.41

王呈, 王炀, 荣英佼. 面向配电柜字符识别的YOLOv7-MSBP目标定位算法[J]. 计算机应用, 2024, 44(10): 3191-3199.

Cheng WANG, Yang WANG, Yingjiao RONG. YOLOv7-MSBP target location algorithm for character recognition of power distribution cabinet[J]. Journal of Computer Applications, 2024, 44(10): 3191-3199.

图/表 18

参考文献 34

1	杨典，李小燕，刘培焱，等. 基于OpenCV的变电站仪表识别方法研究［J］. 自动化与仪表， 2022， 37（4）： 75-80.
	YANG D， LI X Y， LIU P Y， et al. Research on the recognition method of substation instruments based on OpenCV［J］. Automation and Instrumentation， 2022， 37（4）： 75-80.
2	陈莉珺. 变电站智能巡检应用现状及解决措施［J］. 低碳世界， 2020， 10（11）： 144-145.
	CHEN L J. Application status and solutions of intelligent inspection in substation［J］. Low Carbon World， 2020， 10（11）： 144-145.
3	VÁZQUEZ-FERNÁNDEZ E， DACAL-NIETO A， GONZÁLEZ-JORGE H， et al. A machine vision system for the calibration of digital thermometers［J］. Measurement Science and Technology， 2009， 20（6）： No.065106.
4	朱柏林，郭亮，吴清文. 基于ORB和改进Hough变换的指针仪表智能识读方法［J］. 仪表技术与传感器， 2017（1）： 29-33， 73.
	ZHU B L， GUO L， WU Q W. Intelligent recognition method for pointer meters based on ORB and improved Hough transform［J］. Instrument Technique and Sensor， 2017（1）： 29-33， 73.
5	林剑萍，廖一鹏. 基于OpenCV和LSSVM的数字仪表读数自动识别［J］. 微型机与应用， 2017， 36（2）： 37-40.
	LIN J P， LIAO Y P. Automatic recognition of digital meter readings based on OpenCV and LSSVM［J］. Microcomputer and Its Applications， 2017， 36（2）： 37-40.
6	REDMON J， DIVVALA S， IRSHICK R， et al. You only look once： unified， real-time object detection［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788.
7	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards realtime object detection with region proposal networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems — Volume 1. Cambridge： MIT Press， 2015， 1：91-99.
8	GIRSHICK R. Fast RCNN［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1440-1448.
9	GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 580-587.
10	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot MultiBox detector［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 21-37.
11	刘雨青，隋佳蓉，魏星，等. 基于轻量级YOLOv4的小目标实时检测［J］. 激光与光电子学进展， 2023， 60（6）： No.0610009.
	LIU Y Q， SUI J R， WEI X， et al. Real-time detection of small targets based on lightweight YOLOv4［J］. Laser and Optoelectronics Progress， 2023， 60（6）： No.0610009.
12	牛为华，殷苗苗. 基于改进YOLO v5的道路小目标检测算法［J］. 传感技术学报， 2023， 36（1）： 36-44.
	NIU W H， YIN M M. Road small target detection algorithm based on improved YOLO v5［J］. Chinese Journal of Sensors and Actuators， 2023， 36（1）： 36-44.
13	侯卓成，欧阳华，胡鑫，等. 基于改进的YOLOv4彩色数字仪表读数识别方法［J］. 电子测量技术， 2022， 45（6）： 124-129.
	HOU Z C， OUYANG H， HU X， et al. Improved YOLOv4 color digital instrument reading recognition method［J］. Electronic Measurement Technology， 2022， 45（6）： 124-129.
14	孙顺远，杨挺. 基于深度学习的仪表目标检测算法［J］. 仪表技术与传感器， 2021（6）： 104-108.
	SUN S Y， YANG T. Instrument target detection algorithm based on deep learning［J］. Instrument Technique and Sensor， 2021（6）： 104-108.
15	郑玉珩，黄德启. 改进MobileViT与YOLOv4的轻量化车辆检测网络［J］. 电子测量技术， 2023， 46（2）： 175-183.
	ZHENG Y H， HUANG D Q. Lightweight vehicle detection network based on MobileViT and YOLOv4［J］. Electronic Measurement Technology， 2023， 46（2）： 175-183.
16	林文树，张金生，何乃磊. 基于改进YOLO v4的落叶松毛虫侵害树木实时检测方法［J］. 农业机械学报， 2023， 54（4）： 304-312， 393.
	LIN W S， ZHANG J S， HE N L. Real-time detection method of Dendrolimus superans-infested Larix gmelinii trees based on improved YOLO v4［J］. Transactions of the Chinese Society for Agricultural Machinery， 2023， 54（4）： 304-312， 393.
17	郝帅，张旭，马旭，等. 基于CBAM-YOLOv5的煤矿输送带异物检测［J］. 煤炭学报， 2022， 47（11）： 4147-4156.
	HAO S， ZHANG X， MA X， et al. Foreign object detection in coal mine conveyor belt based on CBAM-YOLOv5［J］. Journal of China Coal Society， 2022， 47（11）： 4147-4156.
18	赵霖，王素珍，邵明伟，等. 基于改进YOLOv5的输电线路鸟巢缺陷检测方法［J］. 电子测量技术， 2023， 46（3）： 157-165.
	ZHAO L， WANG S Z， SHAO M W， et al. Improved YOLOv5-based bird’s nest defect detection method for transmission lines［J］. Electronic Measurement Technology， 2023， 46（3）： 157-165.
19	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.
20	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Version and Pattern Recognition. Piscataway： IEEE， 2017： 936-944.
21	张明路，郭策，吕晓玲，等. 改进的轻量化YOLOv4用于电子元器件检测［J］. 电子测量与仪器学报， 2021， 35（10）： 17-23.
	ZHANG M L， GUO C， LYU X L， et al. Improved lightweight YOLOv4 for electronic components inspection［J］. Journal of Electronic Measurement and Instrumentation， 2021， 35（10）： 17-23.
22	王卫星，刘泽乾，高鹏，等. 基于改进YOLO v4的荔枝病虫害检测模型［J］. 农业机械学报， 2023， 54（5）： 227-235.
	WANG W X， LIU Z Q， GAO P， et al. Detection of litchi diseases and insect pests based on improved YOLO v4 model［J］. Transactions of the Chinese Society for Agricultural Machinery， 2023， 54（5）： 227-235.
23	龙凌，陈浩，梁昊，等. 基于轻量化YOLO网络的实时X射线焊缝缺陷检测［J］. 网络新媒体技术， 2023， 12（2）： 30-38.
	LONG L， CHEN H， LIANG H， et al. Real-time X-ray weld defect detection based on lightweight YOLO network［J］. Network New Media Technology， 2023， 12（2）： 30-38.
24	吴志高，陈明. 基于改进YOLO v7的微藻轻量级检测方法［J］. 大连海洋大学学报， 2023， 38（1）： 129-139.
	WU Z G， CHEN M. Lightweight detection method for microalgae based on improved YOLO v7［J］. Journal of Dalian Ocean University， 2023， 38（1）： 129-139.
25	CHEN J， KAO S H， HE H， et al. Run， don’t walk： chasing higher FLOPS for faster neural networks［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Version and Pattern Recognition. Piscataway： IEEE， 2023： 12021-12031.
26	KANAGARATHINAM K， SEKAR K. Text detection and recognition in raw image of seven segment digital energy meter display［J］. Energy Reports， 2019， 5：842-845.
27	朱立倩. 基于深度学习的数显仪表字符识别［J］. 计算机技术与发展， 2020， 30（6）：141-144.
	ZHU L Q. Character recognition of digital display instrument based on deep learning［J］. Computer Technology and Development， 2020， 30（6）：141-144.
28	HOWARD A， SANGLER M， CHEN B， et al. Searching for MobileNetV3［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019：1314-1324.
29	徐宏强，徐望明，王望，等. 多干扰环境下段码液晶显示仪表读数的鲁棒识别方法［J］. 武汉科技大学学报， 2022， 45（5）：394-400.
	XU H Q， XU W M， WANG W， et al. Robust recognition method for seven-segment LCD meter readings in multi-interference environment［J］. Journal of Wuhan University of Science and Technology， 2022， 45（5）：394-400.
30	WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7： trainable bag-of-freebies sets new state-of-the-art for real-time objectors［C］// Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023：7464-7475.
31	SIMONYAN K， ZSSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2023-10-22］..
32	盖荣丽，孔祥宙，秦山，等. 基于YOLOv7改进的夜间樱桃检测方法： YOLOv7-Cherry［J/OL］. 计算机工程与应用， 2023：1-11 ［2023-10-22］..
	GAI R L， KONG X Z， QIN S， et al. Improved cherry detection method at night based on YOLOv7： YOLOv7-Cherry［J/OL］. Computer Engineering and Applications， 2023： 1-11 ［2023-10-22］. .
33	李安达，吴瑞明，李旭东. 改进YOLOv7的小目标检测算法研究［J］. 计算机工程与应用， 2024， 60（1）：122-134.
	LI A D， WU R M， LI X D. Research on improving YOLOv7’s small target detection algorithm［J］. Computer Engineering and Applications， 2024， 60（1）：122-134.
34	章芮宁，闫坤，叶进. 轻量化YOLO-v7的数显仪表检测及读数［J］. 计算机工程与应用， 2024， 60（8）： 192-201.
	ZHANG R N， YAN K， YE J. Lightweight YOLO-v7 for digital instrumentation detection and reading［J］. Computer Engineering and Applications， 2024， 60（8）： 192-201.

分支	初始锚框大小	本文锚框大小
P2	/	4×5、8×10、22×18
P3	12×16、19×36、40×28	10×13、16×30、33×23
P4	36×75、76×55、72×146	30×61、62×45、59×119
P5	142×110、192×243、459×401	116×90、159×198、373×326

分支	初始锚框大小	本文锚框大小
P2	/	4×5、8×10、22×18
P3	12×16、19×36、40×28	10×13、16×30、33×23
P4	36×75、76×55、72×146	30×61、62×45、59×119
P5	142×110、192×243、459×401	116×90、159×198、373×326

模型	Recall	mAP@0.5
YOLOv7（基线模型）	0.886	0.889
YOLOv7+SENet	0.892	0.894
YOLOv7+CBAM	0.904	0.896
YOLOv7+ Syn-CBAM	0.905	0.902

模型	Recall	mAP@0.5
YOLOv7（基线模型）	0.886	0.889
YOLOv7+SENet	0.892	0.894
YOLOv7+CBAM	0.904	0.896
YOLOv7+ Syn-CBAM	0.905	0.902

模型	参数量/10⁶	GFLOPs	FPS/（frame·s^-1）	体积/MB
基线模型（Baseline）	37.62	120.80	22.5	74.8
Baseline+DWConv	34.55	98.70	19.1	65.3
Baseline+ELAN-PC	32.86	84.70	30.3	60.2
YOLOv7-MSB	40.42	148.70	17.7	82.3
YOLOv7-MSBP	33.59	87.76	23.9	64.3

面向配电柜字符识别的YOLOv7-MSBP目标定位算法

YOLOv7-MSBP target location algorithm for character recognition of power distribution cabinet

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 18

参考文献 34

相关文章 15

编辑推荐

Metrics

Micro-branch	BiFPN	Syn-CBAM	ELAN-PC	AP				mAP@0.5	Precision	Recall	FPS
Micro-branch	BiFPN	Syn-CBAM	ELAN-PC	Label	Led	Point	Switch	mAP@0.5	Precision	Recall	FPS
				0.979	0.910	0.992	0.676	0.889	0.897	0.886	22.5
√				0.986	0.933	0.990	0.715	0.906	0.893	0.905	20.5
√			√	0.986	0.934	0.990	0.713	0.906	0.894	0.905	30.2
	√	√		0.988	0.906	0.995	0.794	0.921	0.925	0.906	18.7
	√	√	√	0.988	0.913	0.995	0.778	0.919	0.916	0.900	24.9
√	√	√		0.985	0.934	0.991	0.830	0.935	0.888	0.940	17.7
√	√	√	√	0.983	0.938	0.995	0.812	0.932	0.914	0.930	23.9

模型	定位mAP	识别mAP
YOLOv5s+Paddle OCR	0.775	0.892
YOLOv7+Paddle OCR	0.889	0.944
YOLOv7-MSPBP+ Paddle OCR	0.932	0.995

[1]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[4]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[5]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[6]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[7]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[8]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[9]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.
[10]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[11]	毛典辉, 李学博, 刘峻岭, 张登辉, 颜文婧. 基于并行异构图和序列注意力机制的中文实体关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2018-2025.
[12]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[13]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[14]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[15]	魏文亮, 王阳萍, 岳彪, 王安政, 张哲. 基于光照权重分配和注意力的红外与可见光图像融合深度学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2183-2191.

模型	AP				mAP@0.5	Precision	Recall	FPS
模型	Label	Led	Point	Switch	mAP@0.5	Precision	Recall	FPS
YOLOv3^［31］	0.977	0.804	0.986	0.333	0.775	0.744	0.792	17.7
YOLOv4-tiny	0.974	0.000 142	0.873	0.018 4	0.466	0.475	0.467	87.6
Faster R-CNN	0.985	0.917	0.979	0.439	0.830	0.853	0.818	8.5
YOLOv5s	0.988	0.660	0.995	0.421	0.766	0.751	0.782	67.2
YOLOv7	0.979	0.910	0.992	0.676	0.889	0.897	0.886	22.5
YOLOv8s	0.973	0.932	0.953	0.721	0.895	0.901	0.898	48.3
YOLOv7-Cherry^［32］	0.974	0.922	0.945	0.779	0.905	0.915	0.910	18.5
改进YOLOv7的小目标算法^［33］	0.980	0.931	0.962	0.799	0.918	0.920	0.917	23.0
轻量化YOLO-v7数显仪表检测^［34］	0.965	0.909	0.910	0.583	0.842	0.866	0.836	30.5
YOLOv7-MSBP	0.983	0.938	0.995	0.812	0.932	0.914	0.930	23.9

模型	AP				mAP@0.5	Precision	Recall	FPS
模型	Label	Led	Point	Switch	mAP@0.5	Precision	Recall	FPS
YOLOv3^［31］	0.977	0.804	0.986	0.333	0.775	0.744	0.792	17.7
YOLOv4-tiny	0.974	0.000 142	0.873	0.018 4	0.466	0.475	0.467	87.6
Faster R-CNN	0.985	0.917	0.979	0.439	0.830	0.853	0.818	8.5
YOLOv5s	0.988	0.660	0.995	0.421	0.766	0.751	0.782	67.2
YOLOv7	0.979	0.910	0.992	0.676	0.889	0.897	0.886	22.5
YOLOv8s	0.973	0.932	0.953	0.721	0.895	0.901	0.898	48.3
YOLOv7-Cherry^［32］	0.974	0.922	0.945	0.779	0.905	0.915	0.910	18.5
改进YOLOv7的小目标算法^［33］	0.980	0.931	0.962	0.799	0.918	0.920	0.917	23.0
轻量化YOLO-v7数显仪表检测^［34］	0.965	0.909	0.910	0.583	0.842	0.866	0.836	30.5
YOLOv7-MSBP	0.983	0.938	0.995	0.812	0.932	0.914	0.930	23.9