基于Siamese-YOLOv4的印刷品缺陷目标检测

doi:10.11772/j.issn.1001-9081.2020121958

《计算机应用》唯一官方网站 ›› 2021, Vol. 41 ›› Issue (11): 3206-3212.DOI: 10.11772/j.issn.1001-9081.2020121958

所属专题：人工智能

基于Siamese-YOLOv4的印刷品缺陷目标检测

楼豪杰¹^,², 郑元林¹^,²(), 廖开阳¹^,², 雷浩¹^,², 李佳¹^,²

^1.西安理工大学印刷包装与数字媒体学院，西安 710048
^2.陕西省印刷包装工程重点实验室，西安 710048

收稿日期:2020-12-14 修回日期:2021-05-13 接受日期:2021-08-03 发布日期:2021-05-13 出版日期:2021-11-10
通讯作者: 郑元林
作者简介:楼豪杰（1996—），男，浙江义乌人，硕士研究生，主要研究方向：目标检测、计算机视觉
郑元林（1975—），男，山东泰安人，副教授，博士，主要研究方向：色彩管理、模式识别、计算机视觉
廖开阳（1976—），男，湖北荆州人，讲师，博士，主要研究方向：数据挖掘、模式识别
雷浩（1995—），男，湖南岳阳人，硕士研究生，主要研究方向：深度学习、图像处理
李佳（1997—），四川广安人，硕士研究生，主要研究方向：图像质量评价、图像增强。
基金资助:
国家自然科学基金资助项目(61771386)

Defect target detection for printed matter based on Siamese-YOLOv4

Haojie LOU¹^,², Yuanlin ZHENG¹^,²(), Kaiyang LIAO¹^,², Hao LEI¹^,², Jia LI¹^,²

^1.Faculty of Printing，Packaging Engineering and Digital Media Technology，Xi’an University of Technology，Xi’an Shaanxi 710048，China
^2.Key Lab of Printing and Packaging Engineering of Shaanxi Province，Xi’an Shaanxi 710048，China

Received:2020-12-14 Revised:2021-05-13 Accepted:2021-08-03 Online:2021-05-13 Published:2021-11-10
Contact: Yuanlin ZHENG
About author:LOU Haojie，born in 1996，M. S. candidate. His research interests include object detection，computer vision
ZHENG Yuanlin，born in 1975，Ph. D.，associate professor. His research interests include colour management， pattern recognition， computer vision
LIAO Kaiyang，born in 1976，Ph. D.，lecturer. His research interests include data mining，pattern recognition
LEI Hao，born in 1995，M. S. candidate. His research interests include deep learning，image processing
LI Jia，born in 1997，M. S. candidate. His research interests image quality assessment，image enhancement.
Supported by:
the National Natural Science Foundation of China(61771386)

摘要/Abstract

摘要：

在印刷工业生产中，针对直接使用YOLOv4网络进行印刷缺陷目标检测精度低、所需训练样本数量大的问题，提出了一种基于Siamese-YOLOv4的印刷品缺陷目标检测方法。首先，使用了一种图像分割和随机参数变化的策略对数据集进行增强；然后，在主干网络中增加了孪生相似性检测网络，并在相似性检测网络中引入Mish激活函数来计算出图像块的相似度，在此之后将相似度低于阈值的区域作为缺陷候选区域；最后，训练候选区域图像，从而实现缺陷目标的精确定位与分类。实验结果表明：Siamese-YOLOv4模型的检测精度优于主流的目标检测模型，在印刷缺陷数据集上，Siamese-YOLOv4网络对卫星墨滴缺陷的检测准确率为98.6%，对脏点缺陷的检测准确率为97.8%，对漏印缺陷的检测准确率为93.9%；检测的平均精度均值（mAP）达到了96.8%，相较于YOLOv4算法、Faster R-CNN算法、SSD算法、EfficientDet算法分别提高了6.5个百分点、6.4个百分点、14.9个百分点、10.6个百分点。所提Siamese-YOLOv4模型一方面在印刷品缺陷检测中有较低的误检率和漏检率，另一方面通过相似性检测网络计算图像块的相似度从而提高了检测的精度，表明所提缺陷检测方法可应用于印刷质检以提高印刷企业的缺陷检测水平。

关键词: 印刷生产, 缺陷检测, 机器学习, YOLOv4, 孪生网络

Abstract:

In the production of printing industry， using You Only Look Once version 4 （YOLOv4） directly to detect printing defect targets has low accuracy and requires a large number of training samples. In order to solve the problems， a defect target detection method for printed matter based on Siamese-YOLOv4 was proposed. Firstly， a strategy of image segmentation and random parameter change was used to enhance the dataset. Then， the Siamese similarity detection network was added to the backbone network， and the Mish activation function was introduced into the similarity detection network to calculate the similarity of image blocks. After that， the regions with similarity below the threshold were regarded as the defect candidate regions. Finally， the candidate region images were trained to achieve the precise positioning and classification of defect targets. Experimental results show that， the detection precision of the proposed Siamese-YOLOv4 model is better than those of the mainstream target detection models. On the printing defect dataset， the Siamese-YOLOv4 network has the detection precision for satellite ink droplet defect of 98.6%， the detection precision for dirty spot of 97.8%， the detection precision for print lack of 93.9%； and the mean Average Precision （mAP） reaches 96.8%， which is 6.5 percentage points，6.4 percentage points， 14.9 percentage points and 10.6 percentage points higher respectively than the YOLOv4 algorithm， the Faster Regional Convolutional Neural Network （Faster R-CNN） algorithm， the Single Shot multibox Detector （SSD） algorithm and the EfficientDet algorithm. The proposed Siamese-YOLOv4 model has low false positive rate and miss rate in the defect detection of printed matter， and improves the detection precision by calculating similarity of the image blocks through the similarity detection network， proving that the proposed defect detection method can be applied to the printing quality inspection and therefore improve the defect detection level of printing enterprises.

Key words: printing production, defect detection, machine learning, You Only Look Once version 4 (YOLOv4), Siamese network

中图分类号:

TP399

楼豪杰, 郑元林, 廖开阳, 雷浩, 李佳. 基于Siamese-YOLOv4的印刷品缺陷目标检测[J]. 计算机应用, 2021, 41(11): 3206-3212.

Haojie LOU, Yuanlin ZHENG, Kaiyang LIAO, Hao LEI, Jia LI. Defect target detection for printed matter based on Siamese-YOLOv4[J]. Journal of Computer Applications, 2021, 41(11): 3206-3212.

图/表 10

图1 生成的印刷品缺陷样张

Fig. 1 Sample of generated printed matter defect

图2 YOLOv4算法框架

Fig. 2 Framework of YOLOv4 algorithm

图3 Siamese-YOLOv4网络框架

Fig. 3 Architecture of Siaese-YOLOv4 network

图4 缺陷样品图及其热力图

Fig. 4 Defect sample image and its heatmap

图5 Siamese-YOLOv4模型在测试集上损失值的变化

Fig. 5 Changes in loss of Siamese-YOLOv4 model on test set

图6 Siamese-YOLOv4的检测结果

Fig. 6 Detection result of Siamese-YOLOv4

表1 不同目标检测方法的性能对比 (%)

Tab. 1 Performance comparison of different target detection methods

方法	准确率			平均准确率
方法	卫星墨滴	脏点	漏印	平均准确率
EfficientDet	95.0	95.2	68.1	86.2
SSD	88.4	91.5	65.8	81.9
YOLOv3	93.2	94.1	75.3	87.5
YOLOv4	96.8	97.0	77.2	90.3
YOLOv5	96.3	95.7	76.4	89.5
Faster R-CNN	90.3	93.8	87.1	90.4
Siamese-YOLOv3	94.7	96.6	91.5	94.3
Siamese-YOLOv4	98.6	97.8	93.9	96.8
Siamese-YOLOv5	98.2	96.5	92.0	95.6

表2 Siamese-YOLOv4模型性能评价 ( %)

Tab. 2 Performance evaluation of Siamese-YOLOv4 model

缺陷类型	准确率	召回率	误检率	漏检率	mAP
平均	96.8	96.9	5.3	3.1	96.8
卫星墨滴	98.6	98.8	2.2	1.2	—
脏点	97.8	97.3	4.5	2.7	—
漏印	93.9	94.7	9.2	5.3	—

图7 相似性检测网络对不同目标检测算法的检测精度提升

Fig. 7 Detection accuracy improvement of similarity detection network to different target detection algorithms

图8 不同亮度等级下的检测结果

Fig. 8 Detection results at different brightness levels

参考文献 22

1	张学武，丁燕琼，闫萍.一种基于红外成像的强反射金属表面缺陷视觉检测方法［J］.光学学报，2011，31（3）：104-112. 10.3788/aos201131.0312004
	ZHANG X W， DING Y Q， YAN P. Vision inspection of metal surface defects based on infrared imaging ［J］. Acta Optica Sinica， 2011， 31（3）： 104-112. 10.3788/aos201131.0312004
2	汪开灿.基于电磁超声的钢轨缺陷检测系统的研究［D］.哈尔滨：哈尔滨工业大学，2010：7-8. 10.1109/iciea.2010.5516784
	WANG K C. Research of rail flaw detection system based on electromagnetic acoustic technique ［D］. Harbin： Harbin Institute of Technology， 2010： 7-8. 10.1109/iciea.2010.5516784
3	LI P， LIANG J L， SHEN X B， et al. Textile fabric defect detection based on low-rank representation ［J］. Multimedia Tools and Applications， 2019， 78（1）： 99-124. 10.1007/s11042-017-5263-z
4	袁野，谭晓阳.复杂环境下的冰箱金属表面缺陷检测［J］.计算机应用，2021，41（1）：270-274
	YUAN Y， TAN X Y. Defect detection of refrigerator metal surface in complex environment ［J］. Journal of Computer Applications， 2021， 41（1）： 270-274.
5	HE Y， SONG K C， MENG Q G， et al. An end-to-end steel surface defect detection approach via fusing multiple hierarchical features ［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 69（4）： 1493-1504. 10.1109/tim.2019.2915404
6	LUO J， ZHANG Z. Automatic colour printing inspection by image processing ［J］. Journal of Materials Processing Technology， 2003， 139（1/2/3）： 373-378. 10.1016/s0924-0136(03)00534-x
7	章毓晋，黄翔宇，李睿.自动检测精细印刷品缺陷的初步方案［J］.中国体视学与图像分析，2001，6（2）：109-112，116. 10.3969/j.issn.1007-1482.2001.02.011
	ZHANG Y J， HUANG X Y， LI R. A preliminary scheme for automatic detection of fine presswork defect ［J］. Chinese Journal of Stereology and Image Analysis， 2001， 6（2）： 109-112， 116. 10.3969/j.issn.1007-1482.2001.02.011
8	GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation ［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 580-587. 10.1109/cvpr.2014.81
9	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. 10.1109/tpami.2016.2577031
10	HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916. 10.1109/tpami.2015.2389824
11	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multiBox detector ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS9905. Piscataway： IEEE， 2016： 21-37.
12	TAN M X， PANG R M， LE Q V. EfficientDet： scalable and efficient object detection ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 10778-10787. 10.1109/cvpr42600.2020.01079
13	BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection ［EB/OL］. （2020-04-23）［2020-10-15］. . 10.1109/cvpr46437.2021.01283
14	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788. 10.1109/cvpr.2016.91
15	李云鹏，侯凌燕，王超.基于YOLOv3的自动驾驶中运动目标检测［J］.计算机工程与设计，2019，40（4）：1139-1144.
	LI Y P， HOU L Y， WANG C. Moving objects detection in automatic driving based on YOLOv3 ［J］. Computer Engineering and Design， 2019， 40（4）： 1139-1144.
16	REN P M， FANG W， DJAHEL S. A novel YOLO-based real-time people counting approach ［C］// Proceedings of the 2017 International Smart Cities Conference. Piscataway： IEEE， 2017： 1-2. 10.1109/isc2.2017.8090864
17	REDMON J， FARHADI A. YOLO9000： better， faster， stronger ［C］// Proceeding of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6517-6525. 10.1109/cvpr.2017.690
18	REDMON J， FARHADI A. YOLOv3： an incremental improvement ［EB/OL］. （2018-04-08）［2020-10-15］. . 10.1109/cvpr.2018.00430
19	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
20	MISRA D. Mish： a self regularized non-monotonic neural activation function ［C］// Proceedings of the 2020 British Machine Vision Conference. Durham： BMVA Press， 2020： Article No.928.
21	LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8759-8768. 10.1109/cvpr.2018.00913
22	ZAGORUYKO S， KOMODAKIS N. Learning to compare image patches via convolutional neural networks ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 4353-4361. 10.1109/cvpr.2015.7299064

[1]	邓凯丽, 魏伟波, 潘振宽. 改进掩码自编码器的工业缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2595-2603.
[2]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.
[3]	姚梓豪, 栗远明, 马自强, 李扬, 魏良根. 基于机器学习的多目标缓存侧信道攻击检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1862-1871.
[4]	陈学斌, 任志强, 张宏扬. 联邦学习中的安全威胁与防御措施综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1663-1672.
[5]	孙子文, 钱立志, 杨传栋, 高一博, 陆庆阳, 袁广林. 基于Transformer的视觉目标跟踪方法综述[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1644-1654.
[6]	佘维, 李阳, 钟李红, 孔德锋, 田钊. 基于改进实数编码遗传算法的神经网络超参数优化[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 671-676.
[7]	郑毅, 廖存燚, 张天倩, 王骥, 刘守印. 面向城区的基于图去噪的小区级RSRP估计方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 855-862.
[8]	荆智文, 张屿佳, 孙伯廷, 郭浩. 二阶段孪生图卷积神经网络推荐算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 469-476.
[9]	崔晨辉, 蔺素珍, 李大威, 禄晓飞, 武杰. 基于孪生网络和Transformer的红外弱小目标跟踪方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 563-571.
[10]	李博, 黄建强, 黄东强, 王晓英. 基于异构平台的稀疏矩阵向量乘自适应计算优化[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3867-3875.
[11]	陈学斌, 屈昌盛. 面向联邦学习的后门攻击与防御综述[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3459-3469.
[12]	孙仁科, 皇甫志宇, 陈虎, 李仲年, 许新征. 神经架构搜索综述[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 2983-2994.
[13]	柴汶泽, 范菁, 孙书魁, 梁一鸣, 刘竟锋. 深度度量学习综述[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 2995-3010.
[14]	尹春勇, 周永成. 双端聚类的自动调整聚类联邦学习[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3011-3020.
[15]	崔昊阳, 张晖, 周雷, 杨春明, 李波, 赵旭剑. 有序规范实数对多相似度K最近邻分类算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2673-2678.

基于Siamese-YOLOv4的印刷品缺陷目标检测

Defect target detection for printed matter based on Siamese-YOLOv4

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 22

相关文章 15

编辑推荐

Metrics