基于深度特征融合的无纺布低对比度浆丝缺陷检测方法

doi:10.11772/j.issn.1001-9081.2021050834

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1440-1446.DOI: 10.11772/j.issn.1001-9081.2021050834

基于深度特征融合的无纺布低对比度浆丝缺陷检测方法

鲁永帅, 唐英杰(), 马鑫然

北京印刷学院信息工程学院，北京 102600

收稿日期:2021-05-18 修回日期:2021-09-09 接受日期:2021-09-16 发布日期:2021-09-09 出版日期:2022-05-10
通讯作者: 唐英杰
作者简介:鲁永帅（1996—），男，河南项城人，硕士研究生，主要研究方向：深度学习、图像处理
唐英杰（1963—），男，安徽砀山人，副教授，硕士，主要研究方向：机器视觉、图像处理 tangyj@bigc.edu.cn
马鑫然（1996—），女，北京人，硕士研究生，主要研究方向：深度学习、图像处理。
基金资助:
北京市自然科学基金项目-北京市教委科技计划重点项目(KZ202010015021)

Low contrast filament sizing defect detection method of non-woven fabric based on deep feature fusion

Yongshuai LU, Yingjie TANG(), Xinran MA

College of Information Engineering，Beijing Institute of Graphic Communication，Beijing 102600，China

Received:2021-05-18 Revised:2021-09-09 Accepted:2021-09-16 Online:2021-09-09 Published:2022-05-10
Contact: Yingjie TANG
About author:LU Yongshuai， born in 1996，M. S. candidate. His researchinterests include deep learning，image processing.
TANG Yingjie，born in 1963，M. S.，associate professor. Hisresearch interests include machine vision，image processing.
MA Xinran， born in 1996，M. S. candidate. Her research interestsinclude deep learning，image processing.
Supported by:
Beijing Natural Science Foundation Project-Beijing Municipal Education Commission Science and Technology Plan Key Project(KZ202010015021)

摘要/Abstract

摘要：

针对无纺布生产过程中产生的浆丝缺陷对比度较低，以及传统图像处理方法对其检测效果较差的问题，提出了一种基于卷积神经网络（CNN）的无纺布低对比度浆丝缺陷检测方法。首先，对采集到的无纺布图像进行预处理以构建浆丝缺陷数据集；然后，利用改进的卷积神经网络以及多尺度特征采样融合模块构造编码器以提取低对比度浆丝缺陷的语义信息，并在解码器中采用跳跃连接进行多尺度特征融合来优化上采样模块；最后，通过所构建的数据集训练网络模型，从而实现低对比度浆丝缺陷的检测。实验结果表明，所提方法可以有效定位并检测出无纺布上的低对比度浆丝缺陷，其平均交并比（MIoU）、类别平均像素准确率（MPA）分别可以达到77.32%和86.17%，单张样本平均检测时间为50 ms，能够满足工业生产的要求。

关键词: 无纺布, 低对比度, 浆丝缺陷, 语义分割, 深度学习

Abstract:

In order to solve the problem of poor detection effect of traditional image processing methods for the low contrast filament sizing defects in non-woven fabric production process， a low contrast filament sizing defect detection method of non-woven fabric based on Convolutional Neural Network （CNN） was proposed. Firstly， the collected non-woven fabric images were preprocessed to construct a defect dataset of filament sizing. Then， an improved convolutional neural network and a multi-scale feature sampling fusion module were used to construct an encoder to extract the semantic information of low contrast filament sizing defects， and a skip connection was used in the decoder to achieve multi-scale feature fusion for optimizing the upsampling module. Finally， the low contrast defect detection of filament sizing was realized by training the network model on the constructed dataset. Experimental results show that， the proposed method can effectively locate and detect the low contrast filament sizing defects on non-woven fabric. The Mean Intersection over Union （MIoU） and category Mean Pixel Accuracy （MPA） of the proposed method can reach 77.32% and 86.17% respectively， and the average detection time of single sample of the proposed method is 50 ms， which can meet the requirements of industrial production.

Key words: non-woven fabric, low contrast, filament sizing defect, semantic segmentation, deep learning

中图分类号:

TP391.4

鲁永帅, 唐英杰, 马鑫然. 基于深度特征融合的无纺布低对比度浆丝缺陷检测方法[J]. 计算机应用, 2022, 42(5): 1440-1446.

Yongshuai LU, Yingjie TANG, Xinran MA. Low contrast filament sizing defect detection method of non-woven fabric based on deep feature fusion[J]. Journal of Computer Applications, 2022, 42(5): 1440-1446.

图/表 12

图1 改进的网络结构

Fig. 1 Improved network structure

表1 卷积神经网络结构参数

Tab. 1 Structural parameters of convolutional neural network

层数	每层类型	卷积核大小	数量	步长
1	卷积层1	$3 × 3$	64	1
2	卷积层2	$3 × 3$	64	1
3	池化层2	$2 × 2$	64	2
4	卷积层3	$3 × 3$	128	1
5	卷积层4	$3 × 3$	128	1
6	池化层4	$2 × 2$	128	2
7	卷积层5	$3 × 3$	256	1
8	卷积层6	$3 × 3$	256	1
9	池化层6	$2 × 2$	256	2
10	卷积层7	$3 × 3$	512	1
11	卷积层8	$3 × 3$	512	1
12	池化层8	$2 × 2$	512	2
13	空洞卷积层9（ $r a t e = 1$ ）空洞卷积层9（ $r a t e = 3$ ）空洞卷积层9（ $r a t e = 5$ ）	$3 × 3$	512	1
14	池化层9	$2 × 2$	512	2
15	卷积层10	$1 × 1$	512	1

表1 卷积神经网络结构参数

Tab. 1 Structural parameters of convolutional neural network

层数	每层类型	卷积核大小	数量	步长
1	卷积层1	$3 × 3$	64	1
2	卷积层2	$3 × 3$	64	1
3	池化层2	$2 × 2$	64	2
4	卷积层3	$3 × 3$	128	1
5	卷积层4	$3 × 3$	128	1
6	池化层4	$2 × 2$	128	2
7	卷积层5	$3 × 3$	256	1
8	卷积层6	$3 × 3$	256	1
9	池化层6	$2 × 2$	256	2
10	卷积层7	$3 × 3$	512	1
11	卷积层8	$3 × 3$	512	1
12	池化层8	$2 × 2$	512	2
13	空洞卷积层9（ $r a t e = 1$ ）空洞卷积层9（ $r a t e = 3$ ）空洞卷积层9（ $r a t e = 5$ ）	$3 × 3$	512	1
14	池化层9	$2 × 2$	512	2
15	卷积层10	$1 × 1$	512	1

图2 多尺度特征采样融合模块

Fig. 2 Multi-scale feature sampling fusion module

表2 解码器详细参数

Tab. 2 Detail parameters of decoder

层数	每层类型	卷积核大小	数量	步长	特征大小
1	卷积层1	$3 × 3$	512	1	H/32，W/32
2	上采样1	—	—	—	H/16，W/16
3	特征融合1	—	—	—	H/16，W/16
4	卷积层2	$3 × 3$	256	1	H/16，W/16
5	上采样2	—	—	—	H/8，W/8
6	特征融合2	—	—	—	H/8，W/8
7	卷积层3	$3 × 3$	128	1	H/8，W/8
8	上采样3	—	—	—	H/4，W/4
9	特征融合3	—	—	—	H/4，W/4
10	卷积层4	$3 × 3$	64	1	H/4，W/4
11	上采样4	—	—	—	H/4，W/4
12	特征融合4	—	—	—	H/2，W/2
14	卷积层5	$3 × 3$	32	1	H/2，W/2
15	上采样5	—	—	—	H，W
16	卷积层6	$3 × 3$	2	1	H，W

表2 解码器详细参数

Tab. 2 Detail parameters of decoder

层数	每层类型	卷积核大小	数量	步长	特征大小
1	卷积层1	$3 × 3$	512	1	H/32，W/32
2	上采样1	—	—	—	H/16，W/16
3	特征融合1	—	—	—	H/16，W/16
4	卷积层2	$3 × 3$	256	1	H/16，W/16
5	上采样2	—	—	—	H/8，W/8
6	特征融合2	—	—	—	H/8，W/8
7	卷积层3	$3 × 3$	128	1	H/8，W/8
8	上采样3	—	—	—	H/4，W/4
9	特征融合3	—	—	—	H/4，W/4
10	卷积层4	$3 × 3$	64	1	H/4，W/4
11	上采样4	—	—	—	H/4，W/4
12	特征融合4	—	—	—	H/2，W/2
14	卷积层5	$3 × 3$	32	1	H/2，W/2
15	上采样5	—	—	—	H，W
16	卷积层6	$3 × 3$	2	1	H，W

图3 跳跃连接结构

Fig. 3 Skip connection structure

图4 缺陷区域以及其放大图

Fig. 4 Defect area and its enlarged view

图5 数据集原图及其标注图

Fig. 5 Original dataset image and its annotation image

表3 不同网络的性能对比

Tab. 3 Performance comparison of different networks

网络	MIoU/%	MPA/%	训练时间（每轮）/min	检测时间/ms
Deeplabv3+	63.28	64.05	17	90
Xception	71.72	74.15	26	117
Pspnet	53.60	54.24	8	40
Unet	74.64	78.60	9	42
原Segnet	65.57	66.77	13	90
文献［10］网络	76.14	80.10	15	117
改进网络	77.32	86.17	7	50

图6 不同网络检测结果对比

Fig. 6 Comparison of detection results of different networks

表4 改进网络各个阶段的性能结果对比

Tab. 4 Comparison of performance results at various stages ofimproved networks

网络	改进卷积层	多尺度采样融合	跳跃连接	MIoU/%	MPA/%
原Segnet	×	×	×	65.57	66.77
改进1	√	×	×	75.84	82.01
改进2	√	√	×	77.05	83.76
改进3	√	√	√	77.32	86.17

图7 改进网络各个阶段检测结果对比

Fig. 7 Comparison of detection results at various stages ofimproved networks

图8 不同方法检测结果对比

Fig. 8 Comparison of detection results of different methods

参考文献 17

1	张静.浅谈现阶段我国无纺布生产的现状与发展［J］.科技创新导报，2011（31）：72. 10.3969/j.issn.1674-098X.2011.31.050
	ZHANG J. On the present situation and development of nonwoven fabric production in China ［J］. Science and Technology Innovation Herald， 2011（31）： 72. 10.3969/j.issn.1674-098X.2011.31.050
2	许祖鑫.基于Gabor滤波器的无纺布疵点检测系统研究［D］.武汉：华中科技大学，2013：16-26.
	XU Z X. Research on nonwoven fabric defect detection system using Gabor filter ［D］. Wuhan： Huazhong University of Science and Technology， 2013： 16-26.
3	张渤，张代林，陈幼平.用于无纺布缺陷检测的Gabor滤波器参数研究［J］.武汉理工大学学报，2012，34（7）：129-133. 10.3963/j.issn.1671-4431.2012.07.027
	ZHANG B， ZHANG D L， CHEN Y P. Research on Gabor filter parameters used for non-woven fabric defects detection ［J］. Journal of Wuhan University of Technology， 2012， 34（7）： 129-133. 10.3963/j.issn.1671-4431.2012.07.027
4	邵鑫玉，华继钊.基于机器视觉的无纺布缺陷自动检测系统［J］.计算机科学，2014，41（6A）：487-489.
	SHAO X Y， HUA J Z. Automatic detection system of fabric defects based on machine vision ［J］. Computer Science， 2014， 41（6A）： 487-489.
5	撒雨昕，蔡硕.基于最优Gabor滤波器的无纺布缺陷检测［J］.信息通信，2018（10）：18-20. 10.3969/j.issn.1673-1131.2018.10.008
	SA Y X， CAI S. Non-woven fabric defect detection based on optimized Gabor filter ［J］. Information and Communications， 2018（10）： 18-20. 10.3969/j.issn.1673-1131.2018.10.008
6	陈先，郭东妮，尹文芳.SVM在无纺布质量检测方面的应用［J］.电子制作，2020（15）：90-93，67.
	CHEN X， GUO D N， YI W F. Application of SVM in quality inspection of nonwoven fabrics ［J］. Practical Electronics， 2020（15）： 90-93， 67.
7	王文远，金晅宏，韩悦.改进二叉树SVM模型在无纺布缺陷检测中的应用［J］.电子测量技术，2020，43（20）：98-103. 10.19651/j.cnki.emt.2004813
	WANG W Y， JIN X H， HAN Y. Application of the improved binary tree SVM model in non-woven fabric defect detection ［J］. Electronic Measurement Technology， 2020， 43（20）： 98-103. 10.19651/j.cnki.emt.2004813
8	赵鹏，唐英杰，杨牧，等.卷积神经网络在无纺布缺陷分类检测中的应用［J］.包装工程，2020，41（5）：192-196.
	ZHAO P， TANG Y J， YANG M， et al. Application of convolutional neural network in classification and detection of non-woven fabric defects ［J］. Packaging Engineering， 2020， 41（5）： 192-196.
9	邓泽林，刘行，董云龙，等.无纺布疵点实时检测技术与系统设计［J］.自动化学报，2021，47（3）：583-593.
	DENG Z L， LIU X， DONG Y L， et al. Non-woven fabric real-time defects detection method and framework design ［J］. Acta Automatica Sinica， 2021， 47（3）： 583-593.
10	汪坤，史伟民，李建强，等.基于深度学习的织物印花分割算法研究［J］.现代纺织技术，2021，29（3）：45-50. 10.1109/itoec53115.2022.9734539
	WANG K， SHI W M， LI J Q， et al. Research on fabric printing segmentation algorithm based on deep learning ［J］. Advanced Textile Technology， 2021， 29（3）： 45-50. 10.1109/itoec53115.2022.9734539
11	ALQAZZAZ S， SUN X F， YANG X， et al. Automated brain tumor segmentation on multi-modal MR image using SegNet ［J］. Computational Visual Media， 2019， 5（2）： 209-219. 10.1007/s41095-019-0139-y
12	ZHAO B D， LU H Z， CHEN S F， et al. Convolutional neural networks for time series classification ［J］. Journal of Systems Engineering and Electronics， 2017， 28（1）： 162-169. 10.21629/jsee.2017.01.18
13	余珮嘉，张靖，谢晓尧.基于自适应池化的行人检测方法［J］.河北科技大学学报，2019，40（6）：533-539. 10.7535/hbkd.2019yx06011
	YU P J， ZHANG J， XIE X Y. Pedestrian detection based on adaptive pooling method ［J］. Journal of Hebei University of Science and Technology， 2019， 40（6）： 533-539. 10.7535/hbkd.2019yx06011
14	LIU B. Understanding the loss landscape of one-hidden-layer ReLU networks ［J］. Knowledge-Based Systems， 2021， 220： No.106923. 10.1016/j.knosys.2021.106923
15	SONG W D， JIA G H， ZHU H， et al. Automated pavement crack damage detection using deep multiscale convolutional features ［J］. Journal of Advanced Transportation， 2020， 2020： Article No.6412562. 10.1155/2020/6412562
16	SUN X F， LI J M， MA J L， et al. Segmentation of overlapping chromosome images using U-Net with improved dilated convolutions ［J］. Journal of Intelligent and Fuzzy Systems， 2021， 40（3）： 5653-5668. 10.3233/jifs-201466
17	徐龙飞，郁进明.不同优化器在高斯噪声下对LR性能影响的研究［J］.计算机技术与发展，2020，30（3）：7-12. 10.3969/j.issn.1673-629X.2020.03.002
	XU L F， YU J M. Study on influence of different optimizers on performance of LR under Gaussian noise ［J］. Computer Technology and Development， 2020， 30（3）： 7-12. 10.3969/j.issn.1673-629X.2020.03.002

[1]	屈震, 李堃婷, 冯志玺. 基于有效通道注意力的遥感图像场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1431-1439.
[2]	邱永茹, 姚光乐, 冯杰, 崔昊宇. 基于半监督学习的单幅图像去雨算法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1577-1582.
[3]	任炜, 白鹤翔. 基于全局与局部标签关系的多标签图像分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1383-1390.
[4]	谢新林, 肖毅, 续欣莹. 基于神经网络架构搜索的肺结节分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1424-1430.
[5]	张锦, 屈佩琪, 孙程, 罗蒙. 基于改进YOLOv5的安全帽佩戴检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1292-1300.
[6]	王颖洁, 朱久祺, 汪祖民, 白凤波, 弓箭. 自然语言处理在文本情感分析领域应用综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1011-1020.
[7]	刘志华, 陈文洁, 陈爱斌. 基于自注意力机制时频谱同源特征融合的鸟鸣声分类[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1260-1268.
[8]	董永峰, 邓亚晗, 董瑶, 王雅琮. 基于深度学习的聚类综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1021-1028.
[9]	季长清, 高志勇, 秦静, 汪祖民. 基于卷积神经网络的图像分类算法综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1044-1049.
[10]	陈浩杰, 范江亭, 刘勇. 深度强化学习解决动态旅行商问题[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1194-1200.
[11]	汪祖民, 张志豪, 秦静, 季长清. 基于卷积神经网络的机械故障诊断技术综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1036-1043.
[12]	于婉莹, 梁美玉, 王笑笑, 陈徵, 曹晓雯. 基于深度注意力网络的课堂教学视频中学生表情识别与智能教学评估[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 743-749.
[13]	李讷, 徐光柱, 雷帮军, 马国亮, 石勇涛. 交通道路行驶车辆车标识别算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 810-817.
[14]	陈亭秀, 尹建芹. 基于关键帧筛选网络的视听联合动作识别[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 731-735.
[15]	余娜, 刘彦, 魏雄炬, 万源. 基于注意力机制和金字塔融合的RGB-D室内场景语义分割[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 844-853.

基于深度特征融合的无纺布低对比度浆丝缺陷检测方法

Low contrast filament sizing defect detection method of non-woven fabric based on deep feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 17

相关文章 15

编辑推荐

Metrics