基于多尺度记忆库的像素级无监督工业异常检测

doi:10.11772/j.issn.1001-9081.2023111690

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (11): 3587-3594.DOI: 10.11772/j.issn.1001-9081.2023111690

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于多尺度记忆库的像素级无监督工业异常检测

刘永江¹^,², 陈斌²^,³^,⁴()

^1.中国科学院成都计算机应用研究所，成都 610041
^2.中国科学院大学，北京 100049
^3.哈尔滨工业大学（深圳）国际人工智能研究院，广东深圳 518055
^4.哈尔滨工业大学重庆研究院，重庆 401151

收稿日期:2023-12-08 修回日期:2024-03-01 接受日期:2024-03-07 发布日期:2024-03-12 出版日期:2024-11-10
通讯作者: 陈斌
作者简介:刘永江（1996—），男，江西九江人，硕士研究生，主要研究方向：目标检测、异常检测

Pixel-level unsupervised industrial anomaly detection based on multi-scale memory bank

Yongjiang LIU¹^,², Bin CHEN²^,³^,⁴()

^1.Chengdu Institute of Computer Application，Chinese Academy of Sciences，Chengdu Sichuan 610041，China
^2.University of Chinese Academy of Sciences，Beijing 100049，China
^3.International Institute for Artificial Intelligence，Harbin Institute of Technology （Shenzhen），Shenzhen Guangdong 518055，China
^4.Chongqing Research Institute of Harbin Institute of Technology，Chongqing 401151，China

Received:2023-12-08 Revised:2024-03-01 Accepted:2024-03-07 Online:2024-03-12 Published:2024-11-10
Contact: Bin CHEN
About author:LIU Yongjiang， born in 1996， M. S. candidate. His research interests include object detection， anomaly detection.

摘要/Abstract

摘要：

基于特征嵌入的无监督异常检测方法通常使用patch级特征定位异常。patch级特征在图像级异常检测任务上具有竞争力，但在像素级定位方面存在精度不足的问题。为解决这一问题，提出一种由多尺度记忆库与分割网络组成的像素级异常检测方法MemAD。首先，通过预训练的特征提取网络对训练集中的正常样本进行特征提取，构建3个尺度下的正样本特征记忆库；其次，在训练分割网络时，计算模拟的伪异常样本特征与记忆库中距离最近的正样本特征的差特征，进一步引导分割网络学习如何定位异常像素。实验结果表明，MemAD在MVTec AD （MVTec Anomaly Detection）数据集上的图像级和像素级接受者操作特征曲线下面积（AUC）分别达到了98.0%和97.4%，优于大多数的现有方法，验证了它在像素级异常定位中的准确性。

关键词: 计算机视觉, 无监督异常检测, 特征嵌入, 记忆库, 语义分割

Abstract:

Unsupervised anomaly detection methods based on feature embedding often use patch-level features to localize anomalies. Patch-level features are competitive in image-level anomaly detection tasks， but suffer from insufficient accuracy in pixel-level localization. To address this issue， MemAD， a pixel-level anomaly detection method composed of a multi-scale memory bank and a segmentation network， was proposed. Firstly， a pre-trained feature extraction network was used to extract features from normal samples in the training set， thereby constructing a normal sample feature memory bank at three scales. Then， during the training of the segmentation network， difference features between simulated pseudo-anomaly sample features and the nearest normal sample features in the memory bank were calculated， thereby further guiding the segmentation network to learn how to locate anomalous pixels. Experimental results show that MemAD achieves image-level and pixel-level AUC （Area Under the Receiver Operating Characteristic curve） of 0.980 and 0.974 respectively on MVTec AD （MVTec Anomaly Detection） dataset， outperforming most existing methods and confirming the accuracy of the proposed method in pixel-level anomaly localization.

Key words: computer vision, unsupervised anomaly detection, feature embedding, memory bank, semantic segmentation

中图分类号:

TP391.4

刘永江, 陈斌. 基于多尺度记忆库的像素级无监督工业异常检测[J]. 计算机应用, 2024, 44(11): 3587-3594.

Yongjiang LIU, Bin CHEN. Pixel-level unsupervised industrial anomaly detection based on multi-scale memory bank[J]. Journal of Computer Applications, 2024, 44(11): 3587-3594.

图/表 8

参考文献 29

1	BERGMANN P， LÖWE S， FAUSER M， et al. Improving unsupervised defect segmentation by applying structural similarity to autoencoders［EB/OL］. （2019-02-01）［2023-06-13］..
2	TANG T W， KUO W H， LAN J H， et al. Anomaly detection neural network with dual auto-encoders GAN and its industrial inspection applications［J］. Sensors， 2020， 20（12）： No.3336.
3	AKCAY S， ATAPOUR-ABARGHOUEI A， BRECKON T P. GANomaly： semi-supervised anomaly detection via adversarial training［C］// Proceedings of the 2018 Asian Conference on Computer Vision， LNCS 11363. Cham： Springer， 2019： 622-637.
4	SCHLEGL T， SEEBÖCK P， WALDSTEIN S M， et al. Unsupervised anomaly detection with generative adversarial networks to guide marker discovery［C］// Proceedings of the 2017 International Conference on Information Processing in Medical Imaging， LNCS 10265. Cham： Springer， 2017： 146-157.
5	ZENATI H， FOO C S， LECOUAT B， et al. Efficient GAN-based anomaly detection［EB/OL］. ［2023-06-12］..
6	WHEELER B J， KARIMI H A. A semantically driven self-supervised algorithm for detecting anomalies in image sets［J］. Computer Vision and Image Understanding， 2021， 213： No.103279.
7	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（4）： 834-848.
8	ROTH K， PEMULA L， ZEPEDA J， et al. Towards total recall in industrial anomaly detection［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 14298-14308.
9	COHEN N， HOSHEN Y. Sub-image anomaly detection with deep pyramid correspondences［EB/OL］. ［2023-09-10］..
10	DEFARD T， SETKOV A， LOESCH A， et al. PaDiM： a patch distribution modeling framework for anomaly detection and localization［C］// Proceedings of the 2021 International Conference on Pattern Recognition， LNCS 12664. Cham： Springer， 2021： 475-489.
11	HYUN J， KIM S， JEON G， et al. ReConPatch： contrastive patch representation learning for industrial anomaly detection［C］// Proceedings of the 2024 IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2024： 2041-2050.
12	BERGMANN P， FAUSER M， SATTLEGGER D， et al. MVTec AD — a comprehensive real-world dataset for unsupervised anomaly detection［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 9584-9592.
13	ZAVRTANIK V， KRISTAN M， SKOČAJ D. DRÆM — a discriminatively trained reconstruction embedding for surface anomaly detection［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 8310-8319.
14	LI C L， SOHN K， YOON J， et al. CutPaste： self-supervised learning for anomaly detection and localization［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 9659-9669.
15	SONG J W， KONG K， PARK Y I， et al. AnoSeg： anomaly segmentation network using self-supervised learning［EB/OL］. ［2023-08-10］..
16	LIU Z， ZHOU Y， XU Y， et al. SimpleNet： a simple network for image anomaly detection and localization［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 20402-20411.
17	YANG M， WU P， FENG H. MemSeg： a semi-supervised method for image surface defect detection using differences and commonalities［J］. Engineering Applications of Artificial Intelligence， 2023， 119： No.105835.
18	DENG J， DONG W， SOCHER R， et al. ImageNet： a large-scale hierarchical image database［C］// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2009： 248-255.
19	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.
20	SINHA S， ZHANG H， GOYAL A， et al. Small-GAN： speeding up GAN training using core-sets［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR.org， 2020： 9005-9015.
21	PERLIN K. An image synthesizer［J］. ACM SIGGRAPH Computer Graphics， 1985， 19（3）： 287-296.
22	ZHAO R， QIAN B， ZHANG X， et al. Rethinking Dice loss for medical image segmentation［C］// Proceedings of the 2020 IEEE International Conference on Data Mining. Piscataway： IEEE， 2020： 851-860.
23	CIMPOI M， MAJI S， KOKKINOS I， et al. Describing textures in the wild［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 3606-3613.
24	FU H， CHENG J， XU Y， et al. Joint optic disc and cup segmentation based on multi-label deep network and polar transformation［J］. IEEE Transactions on Medical Imaging， 2018， 37（7）： 1597-1605.
25	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
26	YAO H， ZHU D L， JIANG B， et al. Negative log likelihood ratio loss for deep neural network classification［C］// Proceedings of the 2019 Future Technologies Conference， AISC 1069. Cham： Springer， 2020： 276-282.
27	YI J， YOON S. Patch SVDD： patch-level SVDD for anomaly detection and segmentation［C］// Proceedings of the 2020 Asian Conference on Computer Vision， LNCS 12627. Cham： Springer， 2021： 375-390.
28	WANG G， HAN S， DING E， et al. Student-teacher feature pyramid matching for anomaly detection［C］// Proceedings of the 2021 British Machine Vision Conference. Durham： BMVA Press， 2021： No.1273.
29	BATZNER K， HECKLER L， KÖNIG R. EfficientAD： accurate visual anomaly detection at millisecond-level latencies［C］// Proceedings of the 2024 IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2022： 127-137.

类别	SPADE^［9］	CutPaste^［14］	P-SVDD^［27］	STFPM^［28］	PaDiM^［10］	EfficientAD^［29］	MemAD
均值	85.1	92.2	96.3	90.0	95.3	97.7	98.0
bottle	97.2	98.6	98.3	97.9	99.9	99.1	100.0
capsule	89.7	76.7	96.2	75.9	92.7	95.7	96.4
carpet	92.8	92.9	93.1	95.4	99.5	97.2	87.4
grid	47.3	94.6	99.9	98.2	94.2	99.8	100.0
hazelnut	88.1	92.0	97.3	99.9	96.4	94.8	99.4
leather	95.4	90.9	100.0	98.9	100.0	100.0	100.0
metal nut	71.0	94.0	99.3	95.6	98.9	98.9	100.0
pill	80.3	86.1	92.4	70.5	93.9	92.6	94.8
screw	66.7	81.3	86.3	83.5	84.5	97.5	100.0
tile	96.5	97.8	93.4	94.9	97.4	99.9	100.0
toothbrush	88.9	100.0	98.3	99.7	94.2	100.0	100.0
wood	95.9	96.5	98.6	96.1	99.3	98.4	100.0
zipper	96.6	97.9	99.4	64.5	88.2	97.1	96.5

类别	SPADE^［9］	CutPaste^［14］	P-SVDD^［27］	STFPM^［28］	PaDiM^［10］	EfficientAD^［29］	MemAD
均值	85.1	92.2	96.3	90.0	95.3	97.7	98.0
bottle	97.2	98.6	98.3	97.9	99.9	99.1	100.0
capsule	89.7	76.7	96.2	75.9	92.7	95.7	96.4
carpet	92.8	92.9	93.1	95.4	99.5	97.2	87.4
grid	47.3	94.6	99.9	98.2	94.2	99.8	100.0
hazelnut	88.1	92.0	97.3	99.9	96.4	94.8	99.4
leather	95.4	90.9	100.0	98.9	100.0	100.0	100.0
metal nut	71.0	94.0	99.3	95.6	98.9	98.9	100.0
pill	80.3	86.1	92.4	70.5	93.9	92.6	94.8
screw	66.7	81.3	86.3	83.5	84.5	97.5	100.0
tile	96.5	97.8	93.4	94.9	97.4	99.9	100.0
toothbrush	88.9	100.0	98.3	99.7	94.2	100.0	100.0
wood	95.9	96.5	98.6	96.1	99.3	98.4	100.0
zipper	96.6	97.9	99.4	64.5	88.2	97.1	96.5

类别	SPADE^［9］	CutPaste^［14］	P-SVDD^［27］	STFPM^［28］	PaDiM^［10］	EfficientAD^［29］	MemAD
均值	95.8	95.5	96.6	96.4	96.8	95.5	97.4
bottle	98.4	98.1	97.6	97.1	98.3	97.6	98.8
capsule	99.0	95.8	97.4	96.2	98.4	95.7	97.4
carpet	97.5	92.6	98.3	98.6	98.4	94.8	96.9
grid	93.7	96.2	97.5	98.8	91.8	93.7	99.2
hazelnut	99.1	97.5	97.3	98.1	97.8	97.7	98.2
leather	97.6	97.4	99.5	99.1	99.4	97.6	96.7
metal nut	98.1	98.0	93.1	94.2	97.0	98.4	99.0
pill	96.5	95.1	95.7	87.8	95.7	97.8	97.7
screw	98.9	95.7	96.7	98.3	97.8	98.6	97.0
tile	87.4	91.4	90.5	94.6	93.4	90.6	99.2
toothbrush	97.9	98.1	98.1	98.3	98.8	96.4	97.6
wood	85.5	90.8	95.5	94.9	94.7	86.7	98.9
zipper	96.5	95.1	99.3	97.2	97.9	96.0	90.8

类别	SPADE^［9］	CutPaste^［14］	P-SVDD^［27］	STFPM^［28］	PaDiM^［10］	EfficientAD^［29］	MemAD
均值	95.8	95.5	96.6	96.4	96.8	95.5	97.4
bottle	98.4	98.1	97.6	97.1	98.3	97.6	98.8
capsule	99.0	95.8	97.4	96.2	98.4	95.7	97.4
carpet	97.5	92.6	98.3	98.6	98.4	94.8	96.9
grid	93.7	96.2	97.5	98.8	91.8	93.7	99.2
hazelnut	99.1	97.5	97.3	98.1	97.8	97.7	98.2
leather	97.6	97.4	99.5	99.1	99.4	97.6	96.7
metal nut	98.1	98.0	93.1	94.2	97.0	98.4	99.0
pill	96.5	95.1	95.7	87.8	95.7	97.8	97.7
screw	98.9	95.7	96.7	98.3	97.8	98.6	97.0
tile	87.4	91.4	90.5	94.6	93.4	90.6	99.2
toothbrush	97.9	98.1	98.1	98.3	98.8	96.4	97.6
wood	85.5	90.8	95.5	94.9	94.7	86.7	98.9
zipper	96.5	95.1	99.3	97.2	97.9	96.0	90.8

stage1	stage2	stage3	AUC
stage1	stage2	stage3	图像级	像素级
√			86.1	89.5
	√		90.9	86.2
		√	91.9	83.4
√	√		96.5	97.0
√		√	97.1	96.6
	√	√	97.4	94.3
√	√	√	98.0	97.4

基于多尺度记忆库的像素级无监督工业异常检测

Pixel-level unsupervised industrial anomaly detection based on multi-scale memory bank

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 29

相关文章 15

编辑推荐

Metrics

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	付帅, 郭小英, 白茹意, 闫涛, 陈斌. 改进的CloFormer模型与有序回归相结合的年龄评估方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2372-2380.
[3]	施赛龙, 方智文. 基于多尺度聚合和共享注意力的注视估计模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2047-2054.
[4]	孙子文, 钱立志, 杨传栋, 高一博, 陆庆阳, 袁广林. 基于Transformer的视觉目标跟踪方法综述[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1644-1654.
[5]	韩贵金, 张馨渊, 张文涛, 黄娅. 基于多特征融合的自监督图像配准算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1597-1604.
[6]	李威, 陈玲, 徐修远, 朱敏, 郭际香, 周凯, 牛颢, 张煜宸, 易珊烨, 章毅, 罗凤鸣. 基于多任务学习的间质性肺病分割算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1285-1293.
[7]	王铂越, 李英祥, 钟剑丹. 基于改进Res-UNet的昼夜地基云图分割网络[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1310-1316.
[8]	张鹏飞, 韩李涛, 冯恒健, 李洪梅. 基于注意力机制和全局特征优化的点云语义分割[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1086-1092.
[9]	吴宁, 罗杨洋, 许华杰. 基于多尺度特征融合的遥感图像语义分割方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 737-744.
[10]	庞玉东, 李志星, 刘伟杰, 李天昊, 王宁宁. 基于改进实时检测Transformer的塔机上俯视场景小目标检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3922-3929.
[11]	李子怡, 曲婷婷, 崇乾鹏, 徐金东. 基于模糊多尺度特征的遥感图像分割网络[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3581-3586.
[12]	柴汶泽, 范菁, 孙书魁, 梁一鸣, 刘竟锋. 深度度量学习综述[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 2995-3010.
[13]	郑秋梅, 牛薇薇, 王风华, 赵丹. 基于细节增强的双分支实时语义分割网络[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3058-3066.
[14]	周迪, 张自力, 陈佳, 胡新荣, 何儒汉, 张俊. 基于EfficientNetV2和物体上下文表示的胃癌图像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2955-2962.
[15]	王一, 谢杰, 程佳, 豆立伟. 基于深度学习的RGB图像目标位姿估计综述[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2546-2555.