面向小目标的YOLOv5安全帽检测算法

doi:10.11772/j.issn.1001-9081.2022060855

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (6): 1943-1949.DOI: 10.11772/j.issn.1001-9081.2022060855

• 多媒体计算与计算机仿真 • 上一篇下一篇

面向小目标的YOLOv5安全帽检测算法

吕宗喆¹^,², 徐慧²(), 杨骁², 王勇², 王唯鉴¹^,²

^1.北京机械工业自动化研究所，北京 100120
^2.北自所（北京）科技发展股份有限公司，北京 100120

收稿日期:2022-06-14 修回日期:2022-08-27 接受日期:2022-09-05 发布日期:2022-10-11 出版日期:2023-06-10
通讯作者: 徐慧
作者简介:吕宗喆（1997—），男，河南信阳人，硕士研究生，CCF会员，主要研究方向：机器视觉、深度学习
徐慧（1981—），女，湖北襄阳人，研究员，硕士，主要研究方向：人工智能、数字孪生Email：xuhui@bzkj.cn
杨骁（1990—），男，黑龙江双鸭山人，工程师，硕士，主要研究方向：机器学习、智能调度
王勇（1972—），男，北京人，研究员，硕士，主要研究方向：数字孪生、智能制造
王唯鉴（1997—），男，辽宁沈阳人，硕士研究生，主要研究方向：大数据、强化学习。
基金资助:
国家重点研发计划项目(2018YFB1601404)

Small object detection algorithm of YOLOv5 for safety helmet

Zongzhe LYU¹^,², Hui XU²(), Xiao YANG², Yong WANG², Weijian WANG¹^,²

^1.Beijing Research Institute of Automation for Machinery Industry，Beijing 100120，China
^2.RIAMB （Beijing） Technology Development Company Limited，Beijing 100120，China

Received:2022-06-14 Revised:2022-08-27 Accepted:2022-09-05 Online:2022-10-11 Published:2023-06-10
Contact: Hui XU
About author:LYU Zongzhe， born in 1997， M. S. candidate. His research interests include machine vision， deep learning.
YANG Xiao， born in 1990， M. S.， engineer. His research interests include machine learning， intelligent scheduling.
WANG Yong， born in 1972， M. S.， research fellow. His research interests include digital twin， intelligent manufacturing.
WANG Weijian， born in 1997， M. S. candidate. His research interests include big data， reinforcement learning.
Supported by:
National Key Research and Development Program of China(2018YFB1601404)

摘要/Abstract

摘要：

安全帽的佩戴是工人人身安全的有力保障。针对采集的安全帽佩戴图像目标密集、像素点小、检测难度大的特点，提出一种面向安全帽的YOLOv5小目标检测算法。首先，基于YOLOv5算法优化边界框回归损失函数和置信度预测损失函数的计算方式，以提高算法在训练中对密集小目标特征的学习效果；然后，引入切片辅助微调和切片辅助推理（SAHI）对输入网络的图像进行切片处理，使得小目标对象产生更大的像素区域，进而改善网络推理与微调的效果。实验采用了工业场景中包含密集安全帽小目标的数据集进行训练。实验结果表明，改进后的算法相较于原始YOLOv5算法能将精确率提升0.26个百分点，召回率提升0.38个百分点；并且所提算法的平均精确率均值（mAP）达到了95.77%，相较于原始YOLOv5算法等几种算法提升了0.46~13.27个百分点。结果验证了切片辅助微调和SAHI的引入可以提升密集场景下小目标检测识别的精确率和置信度，减少误检漏检的情况，有效满足安全帽佩戴检测的需求。

关键词: 安全帽佩戴检测, YOLOv5算法, 损失函数, 切片辅助微调, 切片辅助推理, 小目标检测

Abstract:

Safety helmet wearing is a powerful guarantee of workers’ personal safety. Aiming at the collected safety helmet wearing pictures have characteristics of high density， small pixels and difficulty to detect， a small object detection algorithm of YOLOv5 （You Only Look Once version 5） for safety helmet was proposed. Firstly， based on YOLOv5 algorithm， the bounding box regression loss function and confidence prediction loss function were optimized to improve the learning effect of the algorithm on the features of dense small objects in training. Secondly， slicing aided fine-tuning and Slicing Aided Hyper Inference （SAHI） were introduced to make the small object produce a larger pixel area by slicing the pictures input into the network， and the effect of network inference and fine-tuning was improved. In the experiments， a dataset containing dense small objects of safety helmets in the industrial scenes was used for training. The experimental results show that compared with the original YOLOv5 algorithm， the improved algorithm can increase the precision by 0.26 percentage points， the recall by 0.38 percentage points. And the mean Average Precision （mAP） of the proposed algorithm reaches 95.77%， which is improved by 0.46 to 13.27 percentage points compared to several algorithms such as the original YOLOv5 algorithm. The results verify that the introduction of slicing aided fine-tuning and SAHI improves the precision and confidence of small object detection and recognition in the dense scenes， reduces the false detection and missed detection cases， and can satisfy the requirements of safety helmet wearing detection effectively.

Key words: safety helmet wearing detection, YOLOv5 (You Only Look Once version 5) algorithm, loss function, slicing aided fine-tuning, Slicing Aided Hyper Inference (SAHI), small object detection

中图分类号:

TP391.41

吕宗喆, 徐慧, 杨骁, 王勇, 王唯鉴. 面向小目标的YOLOv5安全帽检测算法[J]. 计算机应用, 2023, 43(6): 1943-1949.

Zongzhe LYU, Hui XU, Xiao YANG, Yong WANG, Weijian WANG. Small object detection algorithm of YOLOv5 for safety helmet[J]. Journal of Computer Applications, 2023, 43(6): 1943-1949.

图/表 12

图1 YOLOv5的网络结构

Fig. 1 Network structure of YOLOv5

图2 预测框和真实框的关系

Fig. 2 Relationship between prediction box and ground truth box

图3 GIoU退化为IoU

Fig. 3 GIoU degrading into IoU

图4 切片辅助微调的原理

Fig. 4 Principle of slicing aided fine-tuning

图5 切片辅助推理的原理

Fig. 5 Principle of slicing aided hyper inference

表1 实验关键超参数

Tab. 1 Key hyperparameters in experiments

实验超参数	值	实验超参数	值
初始学习率	0.003 2	预训练权重	YOLOv5m
循环学习率	0.12	训练图像大小	640
学习率动量	0.843	训练轮数epoch	300
IoU训练阈值	0.2	batch‑size	4
IoU损失系数	0.029 6	每次传入网络数	8
Anchor长宽比	2.91	Mosaic	1

表2 真实情况和预测情况的分类

Tab. 2 Classification of real and prediction situations

真实情况	预测情况
真实情况	正例	反例
正例	TP	FN
反例	FP	TN

图6 数据集分析效果

Fig. 6 Dataset analysis rendering

图7 改进损失函数后算法训练效果

Fig. 7 Algorithm training performance after improving loss function

表3 消融实验结果对比 (%)

Tab. 3 Comparison of ablation experimental results

组合	P	R	mAP_0.5
组合1	94.15	91.89	95.31
组合2	94.21	92.01	95.53
组合3	94.27	92.25	95.63
组合4	94.41	92.27	95.77

表4 不同算法性能对比 (%)

Tab. 4 Performance comparison of different algorithms

算法	AP		mAP
算法	hat	person	mAP
文献［15］算法	86.50	78.50	82.50
文献［16］算法	88.75	89.32	89.03
原始YOLOv5算法	94.60	95.50	95.31
文献［20］算法	96.54	93.21	94.88
本文算法	96.70	94.50	95.77

图8 安全帽测试数据集检测结果

Fig. 8 Detection results on safety helmet test dataset

参考文献 27

1	唐凯，陈陆，张洲境，等. 我国建筑施工行业生产安全事故统计分析及对策［J］. 建筑安全， 2020， 35（9）：40-43. 10.3969/j.issn.1004-552X.2020.09.014
	TANG K， CHEN L， ZHANG Z J， et al. Statistical analysis and countermeasures of production safety accidents in Chinese construction industry［J］. Construction Safety， 2020， 35（9）：40-43. 10.3969/j.issn.1004-552X.2020.09.014
2	吕谋贵. 分析施工现场安全帽佩戴情况监控技术［J］. 低碳世界， 2018（7）：205-206. 10.3969/j.issn.2095-2066.2018.07.143
	LYU M G. Analysis of the monitoring technology of wearing safety helmet on construction site ［J］. Low Carbon World， 2018（7）：205-206. 10.3969/j.issn.2095-2066.2018.07.143
3	郭师虹，井锦瑞，张潇丹，等. 基于改进的YOLOv4安全帽佩戴检测研究［J］. 中国安全生产科学技术， 2021， 17（12）：135-141.
	GUO S H， JING J R， ZHANG X D， et al. Research on detection of safety helmet wearing based on improved YOLOv4 ［J］. Journal of Safety Science and Technology， 2021， 17（12）：135-141.
4	KELM A， LAUßAT L， MEINS-BECKER A， et al. Mobile passive Radio Frequency Identification （RFID） portal for automated and rapid control of Personal Protective Equipment （PPE） on construction sites［J］. Automation in Construction， 2013， 36：38-52. 10.1016/j.autcon.2013.08.009
5	DONG S， HE Q H， LI H， et al. Automated PPE misuse identification and assessment for safety performance enhancement［C］// Proceedings of the 2015 International Conference on Construction and Real Estate Management. Reston， VA： American Society of Civil Engineers， 2015：204-214. 10.1061/9780784479377.024
6	BIRCHFIELD S. Elliptical head tracking using intensity gradients and color histograms ［C］// Proceedings of the 1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 1998：232-237.
7	刘晓慧，叶西宁. 肤色检测和Hu矩在安全帽识别中的应用［J］. 华东理工大学学报（自然科学版）， 2014， 40（3）：365-370.
	LIU X H， YE X N. Skin color detection and Hu moments in helmet recognition research［J］. Journal of East China University of Science and Technology （Natural Science Edition）， 2014， 40（3）：365-370.
8	CHIVERTON J. Helmet presence classification with motorcycle detection and tracking［J］. IET Intelligent Transport Systems， 2012， 6（3）：259-269. 10.1049/iet-its.2011.0138
9	AKYON F C， ALTINUC S O， TEMIZEL A. Slicing aided hyper inference and fine-tuning for small object detection［C］// Proceedings of the 2022 IEEE International Conference on Image Processing. Piscataway： IEEE， 2022：966-970. 10.1109/icip46576.2022.9897990
10	LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： common objects in context ［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8693. Cham： Springer， 2014：740-755.
11	RAWAT S S， ALGHAMDI S， KUMAR G， et al. Infrared small target detection based on partial sum minimization and total variation ［J］. Mathematics， 2022， 10（4）： No.671. 10.3390/math10040671
12	ZHANG Q， REN J， LIANG H， et al. BFE-Net： bidirectional multi-scale feature enhancement for small object detection［J］. Applied Sciences， 2022， 12（7）： No.3587. 10.3390/app12073587
13	谢富，朱定局. 深度学习目标检测方法综述［J］. 计算机系统应用， 2022， 31（2）：1-12.
	XIE F， ZHU D J. Survey on deep learning object detection ［J］. Computer Systems & Applications， 2022， 31（2）：1-12.
14	王慧. 基于改进Faster R-CNN的安全帽检测及身份识别［D］. 西安：西安科技大学， 2020：28-41
	WANG H. Safety helmet detection and identification based on improved Faster R-CNN ［D］. Xi’an： Xi’an University of Science and Technology， 2020：28-41.
15	李明山，韩清鹏，张天宇，等. 改进SSD的安全帽检测方法［J］. 计算机工程与应用， 2021， 57（8）：192-197.
	LI M S， HAN Q P， ZHANG T Y， et al. Safety helmet detection method of improved SSD ［J］. Computer Engineering and Applications， 2021， 57（8）：192-197.
16	肖体刚，蔡乐才，高祥，等. 改进YOLOv3的安全帽佩戴检测方法［J］. 计算机工程与应用， 2021， 57（12）：216-223. 10.3778/j.issn.1002-8331.2009-0175
	XIAO T G， CAI L C， GAO X， et al. Improved YOLOv3 helmet wearing detection method［J］. Computer Engineering and Applications， 2021， 57（12）：216-223. 10.3778/j.issn.1002-8331.2009-0175
17	王玲敏，段军，辛立伟. 引入注意力机制的YOLOv5安全帽佩戴检测方法［J］. 计算机工程与应用， 2022， 58（9）：303-312. 10.3778/j.issn.1002-8331.2112-0242
	WANG L M， DUAN J， XIN L W. YOLOv5 helmet wear detection method with introduction of attention mechanism［J］. Computer Engineering and Applications， 2022， 58（9）：303-312. 10.3778/j.issn.1002-8331.2112-0242
18	赵睿，刘辉，刘沛霖，等. 基于改进YOLOv5s的安全帽检测算法［J/OL］. 北京航空航天大学学报（2021-11-23）［2022-05-09］.. 10.1109/icccas55266.2022.9825037
	ZHAO R， LIU H， LIU P L， et al. Research on safety helmet detection algorithm based on improved YOLOv 5s ［J/OL］. Journal of Beijing University of Aeronautics and Astronautics （2021-11-23）［2022-05-09］.. 10.1109/icccas55266.2022.9825037
19	ZHU L L， GENG X， LI Z， et al. Improving YOLOv5 with attention mechanism for detecting boulders from planetary images［J］. Remote Sensing， 2021， 13（18）： No.3776. 10.3390/rs13183776
20	郭磊，王邱龙，薛伟，等. 基于改进YOLOv5的小目标检测算法［J］. 电子科技大学学报， 2022， 51（2）：251-258. 10.12178/1001-0548.2021235
	GUO L， WANG Q L， XUE W， et al. A small object detection algorithm based on improved YOLOv5［J］. Journal of University of Electronic Science and Technology of China， 2022， 51（2）：251-258. 10.12178/1001-0548.2021235
21	ZHENG Z H， WANG P， LIU W， et al. Distance-IoU loss： faster and better learning for bounding box regression ［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020：12993-13000. 10.1609/aaai.v34i07.6999
22	刘超阳，曲金帅，范菁，等. 基于改进YOLOv5算法的车辆目标检测［J］. 云南民族大学学报（自然科学版）， 2022， 31（6）：749-754.
	LIU C Y， QU J S， FAN J， et al. Vehicle target detection based on improved YOLOv5 algorithm［J］. Journal of Yunnan Minzu University （Natural Sciences Edition）， 2022， 31（6）：749-754.
23	杨莲，石宝峰，董轶哲. 基于Class Balanced Loss修正交叉熵的非均衡样本信用风险评价模型［J］. 系统管理学报， 2022， 31（2）：255-269， 289. 10.3969/j.issn1005-2542.2022.02.005
	YANG L， SHI B F， DONG Y Z. A credit risk evaluation model for imbalanced data classification based on class balanced loss modified cross entropy function ［J］. Journal of Systems & Management， 2022， 31（2）： 255-269， 289. 10.3969/j.issn1005-2542.2022.02.005
24	郑德重，杨媛媛，黄浩哲，等. 基于距离置信度分数的多模态融合分类网络［J］. 上海交通大学学报， 2022， 56（1）：89-100.
	ZHENG D Z， YANG Y Y， HUANG H Z， et al. Multimodal fusion classification network based on distance confidence score［J］. Journal of Shanghai Jiaotong University， 2022， 56（1）：89-100.
25	VRBANČIČ G， PODGORELEC V. Transfer learning with adaptive fine-tuning ［J］. IEEE Access， 2020， 8：196197-196211. 10.1109/access.2020.3034343
26	SARASAEN C， CHATTERJEE S， BREITKOPF M， et al. Fine-tuning deep learning model parameters for improved super-resolution of dynamic MRI with prior-knowledge［J］. Artificial Intelligence in Medicine， 2021， 121： No.102196. 10.1016/j.artmed.2021.102196
27	CHEN K， WANG J， PANG J， et al. MMDetection： open MMLab detection toolbox and Benchmark ［EB/OL］. ［2022-05-02］..

[1]	陈志, 李歆, 林丽燕, 钟婧, 时鹏. 引入门控轴向自注意力的多通道病理图像分割[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1269-1277.
[2]	祖佳贞, 周永霞, 陈乐. 结合注意力的双分支残差低光照图像增强[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1240-1247.
[3]	姚英茂, 姜晓燕. 基于图卷积网络与自注意力图池化的视频行人重识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 728-735.
[4]	伏博毅, 彭云聪, 蓝鑫, 秦小林. 基于深度学习的标签噪声学习算法综述[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 674-684.
[5]	李文举, 张干, 崔柳, 储王慧. 基于坐标注意力的轻量级交通标志识别模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 608-614.
[6]	李克文, 杨建涛, 黄宗超. 基于边界极限点特征的改进YOLOv3目标检测[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 81-87.
[7]	董宁, 程晓荣, 张铭泉. 基于物联网平台的动态权重损失函数入侵检测系统[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2118-2124.
[8]	张锦, 屈佩琪, 孙程, 罗蒙. 基于改进YOLOv5的安全帽佩戴检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1292-1300.
[9]	危德健, 王文明, 王全玉, 任好盼, 高彦彦, 王志. 改进的基于锚点的三维手部姿态估计网络[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 953-959.
[10]	冯号, 黄朝兵, 文元桥. 基于改进YOLOv3的遥感图像小目标检测[J]. 《计算机应用》唯一官方网站, 2022, 42(12): 3723-3732.
[11]	孙海燕, 陈云博, 封丁惟, 王通, 蔡兴泉. 基于注意力模型和轻量化YOLOv4的林业害虫检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3580-3587.
[12]	吴奇文, 王建华, 郑翔, 冯居, 姜洪岩, 王昱博. 基于改进U-Net的水草图像分割方法[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3177-3183.
[13]	王素玉, 杨静, 李越. 基于双注意力机制信息蒸馏网络的图像超分辨率复原算法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 239-244.
[14]	王月, 江逸茗, 兰巨龙. 基于改进三元组网络和K近邻算法的入侵检测[J]. 计算机应用, 2021, 41(7): 1996-2002.
[15]	蒋宁, 方景龙, 杨庆. 基于单点多盒检测器的全局-局部层级的域适应目标检测[J]. 计算机应用, 2021, 41(2): 517-522.

面向小目标的YOLOv5安全帽检测算法

Small object detection algorithm of YOLOv5 for safety helmet

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 27

相关文章 15

编辑推荐

Metrics