基于深度对比网络的印刷缺陷检测方法

doi:10.11772/j.issn.1001-9081.2021111920

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (1): 250-258.DOI: 10.11772/j.issn.1001-9081.2021111920

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于深度对比网络的印刷缺陷检测方法

王佑芯^1,2, 陈斌^2,3,4

1.中国科学院成都计算机应用研究所,成都 610213
2.中国科学院大学计算机科学与技术学院,北京 100049
3.哈尔滨工业大学(深圳) 国际人工智能研究院,广东深圳 518055
4.哈尔滨工业大学重庆研究院,重庆 401100

收稿日期:2021-11-13 修回日期:2022-03-13 发布日期:2022-06-17
作者简介:王佑芯（1997—），男，江西宜春人，硕士研究生，主要研究方向：工业缺陷检测、目标检测、视频多模态表征；陈斌（1970—），男，四川广汉人，研究员，博士，CCF会员，主要研究方向：工业检测、深度学习。email：chenbin2020@hit.edu.cn；

Print defect detection method based on deep comparison network

WANG Youxin^1,2, CHEN Bin^2,3,4

1.Chengdu Institute of Computer Application， Chinese Academy of Sciences， Chengdu Sichuan 610213， China
2.School of Computer Science and Technology， University of Chinese Academy of Sciences， Beijing 100049， China
3.International Research Institute for Artificial Intelligence， Harbin Institute of Technology （Shenzhen）， Shenzhen Guangdong 518055， China
4.Chongqing Research Institute， Harbin Institute of Technology， Chongqing 401100， China

Received:2021-11-13 Revised:2022-03-13 Online:2022-06-17
Contact: CHEN Bin， born in 1970， Ph. D.， research fellow. His research interests include industrial detection， deep learning.
About author:WANG Youxin， born in 1997， M. S. candidate. His research interests include industrial defect detection， object detection， multimodal video representation；

摘要/Abstract

摘要： 基于传统图像处理技术的印刷缺陷检测方法鲁棒性差，而基于深度学习的目标检测方法则不完全适用于印刷缺陷检测任务的问题。为解决上述问题，将模板匹配方法中的对比思想与深度学习中的语义特征结合，提出用于印刷缺陷检测任务的深度对比网络（CoNet）。首先，提出基于孪生结构的深度对比模块（DCM）在语义空间提取并融合检测图像与参考图像的特征图，挖掘二者间的语义关系；然后，提出基于非对称双通路特征金字塔结构的多尺度变化检测模块（MsCDM），定位并识别印刷缺陷。在公开的印刷电路板缺陷数据集DeepPCB与立金缺陷数据集上，CoNet的平均精度均值（mAP）分别为99.1%和69.8%，与同样采用变化检测思路的最大分组金字塔池化（MP-GPP）和变化检测单次检测器（CD-SSD）相比，分别提升了0.4、3.5个百分点和0.7、2.4个百分点，CoNet的检测精度更高。此外，当输入图像分辨率为640×640时，CoNet的平均耗时为35.7 ms，可见其完全可以满足工业检测任务的实时性要求。

关键词: 印刷缺陷检测, 深度学习, 孪生卷积神经网络, 特征金字塔, 变化检测

Abstract: The print defect detection methods based on traditional image processing technology have poor robustness and the object detection methods based on deep learning are not completely suitable for the detection tasks of print defects. In order to solve the problems above， the comparison ideas in template matching method were combined with the semantic features in deep learning， and a Deep Comparison Network （CoNet） used for the detection tasks of print defects was proposed. Firstly， the Deep Comparison Module （DCM） adopting Siamese structure was proposed to mine the semantic relationship between the detection image and the reference image through extracting and fusing the feature maps of them in the semantic space. Then， based on the feature pyramid structure with asymmetric dual channels， the Multi-scale Change Detection Module （MsCDM） was proposed to locate and classify print defects. On the public printed circuit board defect dataset DeepPCB and dataset of Lijin defects， the average values of mean Average Precision （mAP） of CoNet are 99.1% and 69.8% respectively， compared with the two baseline models Max-Pooling Group Pyramid Pooling （MP-GPP） and Change-Detection Single Shot Detector （CD-SSD）， which are increased by 0.4， 3.5 percentage points and 0.7， 2.4 percentage points respectively， and the detection accuracy of CoNet is higher. Besides， when the resolution of input image is 640×640， the average time consumption of CoNet is 35.7 ms， showing that it can absolutely meet the real-time requirements of industrial detection tasks.

Key words: print defect detection, deep learning, Siamese convolutional neural network, feature pyramid, change detection

中图分类号:

TP391.4

王佑芯, 陈斌. 基于深度对比网络的印刷缺陷检测方法[J]. 计算机应用, 2023, 43(1): 250-258.

WANG Youxin, CHEN Bin. Print defect detection method based on deep comparison network[J]. Journal of Computer Applications, 2023, 43(1): 250-258.

参考文献

1 陶显，侯伟，徐德. 基于深度学习的表面缺陷检测方法综述［J］. 自动化学报， 2021， 47（5）： 1017-1034. TAO X， HOU W， XU D. A survey of surface defect detection methods based on deep learning ［J］. Acta Automatica Sinica， 2021， 47（5）： 1017-1034.
2 ISHIMARU I， HATA S， HIROKARI M. Color-defect classification for printed-matter visual inspection system［C］// Proceedings of the 4th World Congress on Intelligent Control and Automation， Volume 4. Piscataway： IEEE， 2002： 3261-3265. 10.1109/wcica.2002.1020137
3 LUO J， ZHANG Z. Automatic colour printing inspection by image processing［J］. Journal of Materials Processing Technology， 2003， 139（1/2/3）： 373-378. 10.1016/s0924-0136(03)00534-x
4 SHANKAR N G， RAVI N， ZHONG Z W. On-line defect detection in web offset printing［C］// Proceedings of the 4th International Conference on Control and Automation. Piscataway： IEEE， 2003： 794-798. 10.1109/icca.2003.1595132
5 LeCUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324. 10.1109/5.726791
6 LeCUN Y， BENGIO Y， HINTON G. Deep learning ［J］. Nature， 2015， 521（7553）： 436-444. 10.1038/nature14539
7 REDMON J， FARHADI A. YOLOv3： an incremental improvement［EB/OL］. （2018-04-08）［2021-10-27］.https：//arxiv.org/pdf/1804.02767.pdf. 10.1109/cvpr.2017.690
8 REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. 10.1109/tpami.2016.2577031
9 HE K M， GKIOXARI G， DOLLáR P， et al. Mask R-CNN［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2980-2988. 10.1109/iccv.2017.322
10 TANG S L， HE F， HUANG X L， et al. Online PCB defect detector on a new PCB defect dataset［EB/OL］. （2019-02-17）［2021-10-27］.https：//arxiv.org/pdf/1902.06197.pdf.
11 HAIK O， PERRY O， CHEN E， et al. A novel inspection system for variable data printing using deep learning ［C］// Proceedings of the 2020 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2020： 3541-3550. 10.1109/wacv45572.2020.9093396
12 SHANKAR N G， RAVI N， ZHONG Z W. A real-time print-defect detection system for web offset printing［J］. Measurement， 2009， 42（5）： 645-652. 10.1016/j.measurement.2008.10.012
13 SUN X G， ZHANG L， CHEN B. On-line print-defect detecting in an incremental subspace learning framework［J］. Sensor Review， 2011， 31（2）： 138-143. 10.1108/02602281111109998
14 WANG Y P， XU S W， ZHU Z P， et al. Real-time defect detection method for printed images based on grayscale and gradient differences［J］. Journal of Engineering Science and Technology Review， 2018， 11（1）： 180-188. 10.25103/jestr.111.22
15 MALGE P S， NADAF R S. PCB defect detection， classification and localization using mathematical morphology and image processing tools［J］. International Journal of Computer Applications， 2014， 87（9）： 40-45. 10.5120/15240-3782
16 TSAI D M， HSIEH C Y. Automated surface inspection for directional textures［J］. Image and Vision Computing， 1999， 18（1）： 49-62. 10.1016/s0262-8856(99)00009-8
17 KUMAR A. Computer-vision-based fabric defect detection： a survey［J］. IEEE Transactions on Industrial Electronics， 2008， 55（1）： 348-363. 10.1109/tie.1930.896476
18 LIN T Y， DOLLáR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944. 10.1109/cvpr.2017.106
19 马佳良，陈斌，孙晓飞. 基于改进的Faster R-CNN的通用目标检测框架［J］. 计算机应用， 2021， 41（9）： 2712-2719. 10.11772/j.issn.1001-9081.2020111852 MA J L， CHEN B， SUN X F. General object detection framework based on improved Faster R-CNN［J］. Journal of Computer Applications， 2021， 41（9）： 2712-2719. 10.11772/j.issn.1001-9081.2020111852
20 YANG Z， LIU S H， HU H， et al. RepPoints： point set representation for object detection［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 9656-9665. 10.1109/iccv.2019.00975
21 SUN P Z， ZHANG R F， JIANG Y， et al. Sparse R-CNN： end-to-end object detection with learnable proposals［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 14449-14458. 10.1109/cvpr46437.2021.01422
22 LIONG S T， GAN Y S， HUANG Y C， et al. Automatic defect segmentation on leather with deep learning［EB/OL］. （2019-03-28）［2021-10-27］.https：//arxiv.org/pdf/1903.12139.pdf. 10.1080/0951192x.2020.1795928
23 HE Y， SONG K C， MENG Q G， et al. An end-to-end steel surface defect detection approach via fusing multiple hierarchical features［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 69（4）： 1493-1504. 10.1109/tim.2019.2915404
24 冯涛，陈斌，张跃飞. 基于改进的Mask R-CNN的染色体图像分割框架［J］. 计算机应用， 2020， 40（11）： 3332-3339. 10.11772/j.issn.1001-9081.2020030355 FENG T， CHEN B， ZHANG Y F. Chromosome image segmentation framework based on improved Mask R-CNN［J］. Journal of Computer Applications， 2020， 40（11）： 3332-3339. 10.11772/j.issn.1001-9081.2020030355
25 ZHAO J J， GONG M G， LIU J， et al. Deep learning to classify difference image for image change detection［C］// Proceedings of the 2014 International Joint Conference on Neural Networks. Piscataway： IEEE， 2014： 411-417. 10.1109/ijcnn.2014.6889510
26 ZHAN Y， FU K， YAN M L， et al. Change detection based on deep Siamese convolutional network for optical aerial images［J］. IEEE Geoscience and Remote Sensing Letters， 2017， 14（10）： 1845-1849. 10.1109/lgrs.2017.2738149
27 CAYE DAUDT R， LE BERTR S， BOUICH A. Fully convolutional Siamese networks for change detection［C］// Proceedings of the 25th IEEE International Conference on Image Processing. Piscataway： IEEE， 2018： 4063-4067. 10.1109/icip.2018.8451652
28 RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
29 黄平平，段盈宏，谭维贤，等. 基于融合差异图的变化检测方法及其在洪灾中的应用［J］. 雷达学报， 2021， 10（1）： 143-158. 10.12000/JR20118 HUANG P P， DUAN Y H， TAN W X， et al. Change detection method based on fusion difference map in flood disaster［J］. Journal of Radars， 2021， 10（1）： 143-158. 10.12000/JR20118
30 SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-10-27］.https：//arxiv.org/pdf/1409.1556.pdf.
31 REZATOFIGHI H， TSOI N， GWAK J， et al. Generalized intersection over union： a metric and a loss for bounding box regression［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 658-666. 10.1109/cvpr.2019.00075
32 HE K M， ZHANG X Y， RES S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
33 OpenMMLab. MMDetection［EB/OL］. ［2020-09-12］.https：//github.com/open-mmlab/mmdetection.

[1]	王一, 谢杰, 程佳, 豆立伟. 基于深度学习的RGB图像目标位姿估计综述[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2546-2555.
[2]	李校林, 杨松佳. 基于深度学习的多用户毫米波中继网络混合波束赋形[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2511-2516.
[3]	郭祥, 姜文刚, 王宇航. 基于改进Inception-ResNet的加密流量分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2471-2476.
[4]	崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.
[5]	张琨, 杨丰玉, 钟发, 曾广东, 周世健. 基于混合代码表示的源代码脆弱性检测[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2517-2526.
[6]	岑黎彬, 李靖东, 林淳波, 王晓玲. 基于深度自回归模型的近似查询处理方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2034-2039.
[7]	郑帅, 张晓龙, 邓鹤, 任宏伟. 基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2303-2310.
[8]	拓雨欣, 薛涛. 融合指针网络与关系嵌入的三元组联合抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2116-2124.
[9]	姬张建, 张明, 王子龙. 基于改进VarifocalNet的高精度目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2147-2154.
[10]	秦源源, 张鸿. 基于注意力特征金字塔网络的肺结节检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2311-2318.
[11]	梁敏, 刘佳艺, 李杰. 融合迭代反馈与注意力机制的图像超分辨重建方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2280-2287.
[12]	叶坤佩, 熊熙, 丁哲. 基于领域融合和时间权重的招工推荐模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2133-2139.
[13]	秦静, 马雪倩, 高福杰, 季长清, 汪祖民. 基于步态分析的帕金森病辅助诊断方法综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1687-1695.
[14]	陈一驰, 陈斌. 计算机视觉中的终身学习综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1785-1795.
[15]	方可, 刘蓉, 魏驰宇, 张心月, 刘杨. 复杂场景下的行人跌倒检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1811-1817.

基于深度对比网络的印刷缺陷检测方法

Print defect detection method based on deep comparison network

RichHTML

PDF

PDF (Mobile)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics