基于深度特征融合的无纺布低对比度浆丝缺陷检测方法

doi:10.11772/j.issn.1001-9081.2021050834

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1440-1446.DOI: 10.11772/j.issn.1001-9081.2021050834

所属专题：人工智能

基于深度特征融合的无纺布低对比度浆丝缺陷检测方法

鲁永帅, 唐英杰(), 马鑫然

北京印刷学院信息工程学院，北京 102600

收稿日期:2021-05-18 修回日期:2021-09-09 接受日期:2021-09-16 发布日期:2021-09-09 出版日期:2022-05-10
通讯作者: 唐英杰
作者简介:鲁永帅（1996—），男，河南项城人，硕士研究生，主要研究方向：深度学习、图像处理
唐英杰（1963—），男，安徽砀山人，副教授，硕士，主要研究方向：机器视觉、图像处理 tangyj@bigc.edu.cn
马鑫然（1996—），女，北京人，硕士研究生，主要研究方向：深度学习、图像处理。
基金资助:
北京市自然科学基金项目-北京市教委科技计划重点项目(KZ202010015021)

Low contrast filament sizing defect detection method of non-woven fabric based on deep feature fusion

Yongshuai LU, Yingjie TANG(), Xinran MA

College of Information Engineering，Beijing Institute of Graphic Communication，Beijing 102600，China

Received:2021-05-18 Revised:2021-09-09 Accepted:2021-09-16 Online:2021-09-09 Published:2022-05-10
Contact: Yingjie TANG
About author:LU Yongshuai， born in 1996，M. S. candidate. His researchinterests include deep learning，image processing.
TANG Yingjie，born in 1963，M. S.，associate professor. Hisresearch interests include machine vision，image processing.
MA Xinran， born in 1996，M. S. candidate. Her research interestsinclude deep learning，image processing.
Supported by:
Beijing Natural Science Foundation Project-Beijing Municipal Education Commission Science and Technology Plan Key Project(KZ202010015021)

摘要/Abstract

摘要：

针对无纺布生产过程中产生的浆丝缺陷对比度较低，以及传统图像处理方法对其检测效果较差的问题，提出了一种基于卷积神经网络（CNN）的无纺布低对比度浆丝缺陷检测方法。首先，对采集到的无纺布图像进行预处理以构建浆丝缺陷数据集；然后，利用改进的卷积神经网络以及多尺度特征采样融合模块构造编码器以提取低对比度浆丝缺陷的语义信息，并在解码器中采用跳跃连接进行多尺度特征融合来优化上采样模块；最后，通过所构建的数据集训练网络模型，从而实现低对比度浆丝缺陷的检测。实验结果表明，所提方法可以有效定位并检测出无纺布上的低对比度浆丝缺陷，其平均交并比（MIoU）、类别平均像素准确率（MPA）分别可以达到77.32%和86.17%，单张样本平均检测时间为50 ms，能够满足工业生产的要求。

关键词: 无纺布, 低对比度, 浆丝缺陷, 语义分割, 深度学习

Abstract:

In order to solve the problem of poor detection effect of traditional image processing methods for the low contrast filament sizing defects in non-woven fabric production process， a low contrast filament sizing defect detection method of non-woven fabric based on Convolutional Neural Network （CNN） was proposed. Firstly， the collected non-woven fabric images were preprocessed to construct a defect dataset of filament sizing. Then， an improved convolutional neural network and a multi-scale feature sampling fusion module were used to construct an encoder to extract the semantic information of low contrast filament sizing defects， and a skip connection was used in the decoder to achieve multi-scale feature fusion for optimizing the upsampling module. Finally， the low contrast defect detection of filament sizing was realized by training the network model on the constructed dataset. Experimental results show that， the proposed method can effectively locate and detect the low contrast filament sizing defects on non-woven fabric. The Mean Intersection over Union （MIoU） and category Mean Pixel Accuracy （MPA） of the proposed method can reach 77.32% and 86.17% respectively， and the average detection time of single sample of the proposed method is 50 ms， which can meet the requirements of industrial production.

Key words: non-woven fabric, low contrast, filament sizing defect, semantic segmentation, deep learning

中图分类号:

TP391.4

鲁永帅, 唐英杰, 马鑫然. 基于深度特征融合的无纺布低对比度浆丝缺陷检测方法[J]. 计算机应用, 2022, 42(5): 1440-1446.

Yongshuai LU, Yingjie TANG, Xinran MA. Low contrast filament sizing defect detection method of non-woven fabric based on deep feature fusion[J]. Journal of Computer Applications, 2022, 42(5): 1440-1446.

图/表 12

图1 改进的网络结构

Fig. 1 Improved network structure

表1 卷积神经网络结构参数

Tab. 1 Structural parameters of convolutional neural network

层数	每层类型	卷积核大小	数量	步长
1	卷积层1	$3 × 3$	64	1
2	卷积层2	$3 × 3$	64	1
3	池化层2	$2 × 2$	64	2
4	卷积层3	$3 × 3$	128	1
5	卷积层4	$3 × 3$	128	1
6	池化层4	$2 × 2$	128	2
7	卷积层5	$3 × 3$	256	1
8	卷积层6	$3 × 3$	256	1
9	池化层6	$2 × 2$	256	2
10	卷积层7	$3 × 3$	512	1
11	卷积层8	$3 × 3$	512	1
12	池化层8	$2 × 2$	512	2
13	空洞卷积层9（ $r a t e = 1$ ）空洞卷积层9（ $r a t e = 3$ ）空洞卷积层9（ $r a t e = 5$ ）	$3 × 3$	512	1
14	池化层9	$2 × 2$	512	2
15	卷积层10	$1 × 1$	512	1

表1 卷积神经网络结构参数

Tab. 1 Structural parameters of convolutional neural network

层数	每层类型	卷积核大小	数量	步长
1	卷积层1	$3 × 3$	64	1
2	卷积层2	$3 × 3$	64	1
3	池化层2	$2 × 2$	64	2
4	卷积层3	$3 × 3$	128	1
5	卷积层4	$3 × 3$	128	1
6	池化层4	$2 × 2$	128	2
7	卷积层5	$3 × 3$	256	1
8	卷积层6	$3 × 3$	256	1
9	池化层6	$2 × 2$	256	2
10	卷积层7	$3 × 3$	512	1
11	卷积层8	$3 × 3$	512	1
12	池化层8	$2 × 2$	512	2
13	空洞卷积层9（ $r a t e = 1$ ）空洞卷积层9（ $r a t e = 3$ ）空洞卷积层9（ $r a t e = 5$ ）	$3 × 3$	512	1
14	池化层9	$2 × 2$	512	2
15	卷积层10	$1 × 1$	512	1

图2 多尺度特征采样融合模块

Fig. 2 Multi-scale feature sampling fusion module

表2 解码器详细参数

Tab. 2 Detail parameters of decoder

层数	每层类型	卷积核大小	数量	步长	特征大小
1	卷积层1	$3 × 3$	512	1	H/32，W/32
2	上采样1	—	—	—	H/16，W/16
3	特征融合1	—	—	—	H/16，W/16
4	卷积层2	$3 × 3$	256	1	H/16，W/16
5	上采样2	—	—	—	H/8，W/8
6	特征融合2	—	—	—	H/8，W/8
7	卷积层3	$3 × 3$	128	1	H/8，W/8
8	上采样3	—	—	—	H/4，W/4
9	特征融合3	—	—	—	H/4，W/4
10	卷积层4	$3 × 3$	64	1	H/4，W/4
11	上采样4	—	—	—	H/4，W/4
12	特征融合4	—	—	—	H/2，W/2
14	卷积层5	$3 × 3$	32	1	H/2，W/2
15	上采样5	—	—	—	H，W
16	卷积层6	$3 × 3$	2	1	H，W

表2 解码器详细参数

Tab. 2 Detail parameters of decoder

层数	每层类型	卷积核大小	数量	步长	特征大小
1	卷积层1	$3 × 3$	512	1	H/32，W/32
2	上采样1	—	—	—	H/16，W/16
3	特征融合1	—	—	—	H/16，W/16
4	卷积层2	$3 × 3$	256	1	H/16，W/16
5	上采样2	—	—	—	H/8，W/8
6	特征融合2	—	—	—	H/8，W/8
7	卷积层3	$3 × 3$	128	1	H/8，W/8
8	上采样3	—	—	—	H/4，W/4
9	特征融合3	—	—	—	H/4，W/4
10	卷积层4	$3 × 3$	64	1	H/4，W/4
11	上采样4	—	—	—	H/4，W/4
12	特征融合4	—	—	—	H/2，W/2
14	卷积层5	$3 × 3$	32	1	H/2，W/2
15	上采样5	—	—	—	H，W
16	卷积层6	$3 × 3$	2	1	H，W

图3 跳跃连接结构

Fig. 3 Skip connection structure

图4 缺陷区域以及其放大图

Fig. 4 Defect area and its enlarged view

图5 数据集原图及其标注图

Fig. 5 Original dataset image and its annotation image

表3 不同网络的性能对比

Tab. 3 Performance comparison of different networks

网络	MIoU/%	MPA/%	训练时间（每轮）/min	检测时间/ms
Deeplabv3+	63.28	64.05	17	90
Xception	71.72	74.15	26	117
Pspnet	53.60	54.24	8	40
Unet	74.64	78.60	9	42
原Segnet	65.57	66.77	13	90
文献［10］网络	76.14	80.10	15	117
改进网络	77.32	86.17	7	50

图6 不同网络检测结果对比

Fig. 6 Comparison of detection results of different networks

表4 改进网络各个阶段的性能结果对比

Tab. 4 Comparison of performance results at various stages ofimproved networks

网络	改进卷积层	多尺度采样融合	跳跃连接	MIoU/%	MPA/%
原Segnet	×	×	×	65.57	66.77
改进1	√	×	×	75.84	82.01
改进2	√	√	×	77.05	83.76
改进3	√	√	√	77.32	86.17

图7 改进网络各个阶段检测结果对比

Fig. 7 Comparison of detection results at various stages ofimproved networks

图8 不同方法检测结果对比

Fig. 8 Comparison of detection results of different methods

参考文献 17

1	张静.浅谈现阶段我国无纺布生产的现状与发展［J］.科技创新导报，2011（31）：72. 10.3969/j.issn.1674-098X.2011.31.050
	ZHANG J. On the present situation and development of nonwoven fabric production in China ［J］. Science and Technology Innovation Herald， 2011（31）： 72. 10.3969/j.issn.1674-098X.2011.31.050
2	许祖鑫.基于Gabor滤波器的无纺布疵点检测系统研究［D］.武汉：华中科技大学，2013：16-26.
	XU Z X. Research on nonwoven fabric defect detection system using Gabor filter ［D］. Wuhan： Huazhong University of Science and Technology， 2013： 16-26.
3	张渤，张代林，陈幼平.用于无纺布缺陷检测的Gabor滤波器参数研究［J］.武汉理工大学学报，2012，34（7）：129-133. 10.3963/j.issn.1671-4431.2012.07.027
	ZHANG B， ZHANG D L， CHEN Y P. Research on Gabor filter parameters used for non-woven fabric defects detection ［J］. Journal of Wuhan University of Technology， 2012， 34（7）： 129-133. 10.3963/j.issn.1671-4431.2012.07.027
4	邵鑫玉，华继钊.基于机器视觉的无纺布缺陷自动检测系统［J］.计算机科学，2014，41（6A）：487-489.
	SHAO X Y， HUA J Z. Automatic detection system of fabric defects based on machine vision ［J］. Computer Science， 2014， 41（6A）： 487-489.
5	撒雨昕，蔡硕.基于最优Gabor滤波器的无纺布缺陷检测［J］.信息通信，2018（10）：18-20. 10.3969/j.issn.1673-1131.2018.10.008
	SA Y X， CAI S. Non-woven fabric defect detection based on optimized Gabor filter ［J］. Information and Communications， 2018（10）： 18-20. 10.3969/j.issn.1673-1131.2018.10.008
6	陈先，郭东妮，尹文芳.SVM在无纺布质量检测方面的应用［J］.电子制作，2020（15）：90-93，67.
	CHEN X， GUO D N， YI W F. Application of SVM in quality inspection of nonwoven fabrics ［J］. Practical Electronics， 2020（15）： 90-93， 67.
7	王文远，金晅宏，韩悦.改进二叉树SVM模型在无纺布缺陷检测中的应用［J］.电子测量技术，2020，43（20）：98-103. 10.19651/j.cnki.emt.2004813
	WANG W Y， JIN X H， HAN Y. Application of the improved binary tree SVM model in non-woven fabric defect detection ［J］. Electronic Measurement Technology， 2020， 43（20）： 98-103. 10.19651/j.cnki.emt.2004813
8	赵鹏，唐英杰，杨牧，等.卷积神经网络在无纺布缺陷分类检测中的应用［J］.包装工程，2020，41（5）：192-196.
	ZHAO P， TANG Y J， YANG M， et al. Application of convolutional neural network in classification and detection of non-woven fabric defects ［J］. Packaging Engineering， 2020， 41（5）： 192-196.
9	邓泽林，刘行，董云龙，等.无纺布疵点实时检测技术与系统设计［J］.自动化学报，2021，47（3）：583-593.
	DENG Z L， LIU X， DONG Y L， et al. Non-woven fabric real-time defects detection method and framework design ［J］. Acta Automatica Sinica， 2021， 47（3）： 583-593.
10	汪坤，史伟民，李建强，等.基于深度学习的织物印花分割算法研究［J］.现代纺织技术，2021，29（3）：45-50. 10.1109/itoec53115.2022.9734539
	WANG K， SHI W M， LI J Q， et al. Research on fabric printing segmentation algorithm based on deep learning ［J］. Advanced Textile Technology， 2021， 29（3）： 45-50. 10.1109/itoec53115.2022.9734539
11	ALQAZZAZ S， SUN X F， YANG X， et al. Automated brain tumor segmentation on multi-modal MR image using SegNet ［J］. Computational Visual Media， 2019， 5（2）： 209-219. 10.1007/s41095-019-0139-y
12	ZHAO B D， LU H Z， CHEN S F， et al. Convolutional neural networks for time series classification ［J］. Journal of Systems Engineering and Electronics， 2017， 28（1）： 162-169. 10.21629/jsee.2017.01.18
13	余珮嘉，张靖，谢晓尧.基于自适应池化的行人检测方法［J］.河北科技大学学报，2019，40（6）：533-539. 10.7535/hbkd.2019yx06011
	YU P J， ZHANG J， XIE X Y. Pedestrian detection based on adaptive pooling method ［J］. Journal of Hebei University of Science and Technology， 2019， 40（6）： 533-539. 10.7535/hbkd.2019yx06011
14	LIU B. Understanding the loss landscape of one-hidden-layer ReLU networks ［J］. Knowledge-Based Systems， 2021， 220： No.106923. 10.1016/j.knosys.2021.106923
15	SONG W D， JIA G H， ZHU H， et al. Automated pavement crack damage detection using deep multiscale convolutional features ［J］. Journal of Advanced Transportation， 2020， 2020： Article No.6412562. 10.1155/2020/6412562
16	SUN X F， LI J M， MA J L， et al. Segmentation of overlapping chromosome images using U-Net with improved dilated convolutions ［J］. Journal of Intelligent and Fuzzy Systems， 2021， 40（3）： 5653-5668. 10.3233/jifs-201466
17	徐龙飞，郁进明.不同优化器在高斯噪声下对LR性能影响的研究［J］.计算机技术与发展，2020，30（3）：7-12. 10.3969/j.issn.1673-629X.2020.03.002
	XU L F， YU J M. Study on influence of different optimizers on performance of LR under Gaussian noise ［J］. Computer Technology and Development， 2020， 30（3）： 7-12. 10.3969/j.issn.1673-629X.2020.03.002

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[3]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[4]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[5]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[6]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[7]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[8]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[9]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[10]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[11]	张郅, 李欣, 叶乃夫, 胡凯茜. 基于暗知识保护的模型窃取防御技术DKP[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2080-2086.
[12]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.
[13]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[14]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.
[15]	邴雅星, 王阳萍, 雍玖, 白浩谋. 基于筛选学习网络的六自由度目标位姿估计算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1920-1926.

基于深度特征融合的无纺布低对比度浆丝缺陷检测方法

Low contrast filament sizing defect detection method of non-woven fabric based on deep feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 17

相关文章 15

编辑推荐

Metrics