基于通道注意力和边缘融合的伪装目标分割方法

doi:10.11772/j.issn.1001-9081.2022060933

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (7): 2166-2172.DOI: 10.11772/j.issn.1001-9081.2022060933

基于通道注意力和边缘融合的伪装目标分割方法

詹春兰¹, 王安志¹(), 王明辉²

^1.贵州师范大学大数据与计算机科学学院，贵阳 550025
^2.四川大学计算机学院，成都 610065

收稿日期:2022-06-28 修回日期:2022-08-30 接受日期:2022-09-01 发布日期:2022-09-13 出版日期:2023-07-10
通讯作者: 王安志
作者简介:詹春兰（2000—），女，贵州毕节人，CCF会员，主要研究方向：伪装目标检测；
王安志（1986—），男，贵州石阡人，副教授，博士，CCF会员，主要研究方向：深度学习、计算机视觉、数字图像处理；
王明辉（1971—），男，四川成都人，教授，博士，主要研究方向：信息融合、医学影像处理、医疗大数据分析。
基金资助:
国家自然科学基金资助项目(62162013);国家级大学生创新创业训练计划项目(202210663045);贵州省大学生创新创业训练计划项目(S202110663028)

Camouflage object segmentation method based on channel attention and edge fusion

Chunlan ZHAN¹, Anzhi WANG¹(), Minghui WANG²

^1.School of Big Data and Computer Science，Guizhou Normal University，Guiyang Guizhou 550025，China
^2.College of Computer Science，Sichuan University，Chengdu Sichuan 610065，China

Received:2022-06-28 Revised:2022-08-30 Accepted:2022-09-01 Online:2022-09-13 Published:2023-07-10
Contact: Anzhi WANG
About author:ZHAN Chunlan， born in 2000. Her research interests include camouflage object detection.
WANG Anzhi， born in 1986， Ph. D.， associate professor. His research interests include deep learning， computer vision， digital image processing.
WANG Minghui， born in 1971， Ph. D.， professor. His research interests include information fusion， medical image processing， medical big data analysis.
Supported by:
National Natural Science Foundation of China(62162013);National Innovation and Entrepreneurship Training Program for College Students(202210663045);Innovation and Entrepreneurship Training Program for College Students of Guizhou Province(S202110663028)

摘要/Abstract

摘要：

伪装目标分割（COS）的目标是从背景中分离出隐藏的目标对象。近年来，基于卷积神经网络（CNN）的伪装目标检测（COD）发展迅速，然而仍存在无法从前/背景高度相似的场景中准确地检测出完整目标对象的问题。针对上述问题，提出一种基于通道注意力（CA）和边缘融合的COS方法CANet （Network based on Channel Attention and edge fusion），以得到伪装目标的边缘细节更清晰的完整分割结果。首先，引入压缩和激励（SE）注意力模块，以提取更丰富的高级语义特征；其次，提出一个边缘融合模块，抑制低级特征中的干扰，并充分利用图像的边缘细节信息；最后，设计了基于深度可分离卷积的通道注意力模块，以自上而下的方式逐步融合跨级的多尺度特征，进一步地提升检测精度和效率。在多个公开的COD数据集上的实验结果表明，相较于SINet （Search Identification Net）、TINet （Texture-aware Interactive guidance Network）和C²FNet （Context-aware Cross-level Fusion Network）等8种主流的方法，CANet表现更佳，且能够获取到丰富的伪装目标内部及边缘细节信息，而且在具有挑战性的COD10K数据集上结构度量指标相较于SINet提升了2.6个百分点。CANet性能优越，适用于医学上检测与人体组织相似的病灶区域、军事领域检测隐蔽目标等相关领域。

关键词: 伪装目标分割, 边缘融合, 压缩和激励注意力模块, 深度可分离卷积, 多尺度特征

Abstract:

The goal of Camouflage Object Segmentation （COS） is to detect hidden objects from the background. In recent years， Camouflage Object Detection （COD） based on Convolutional Neural Network （CNN） has developed rapidly， but there is still a problem that the complete object cannot be accurately detected in scenes with highly similar foreground/background. For the above problem， a COS method based on Channel Attention （CA） and edge fusion， called CANet （Network based on Channel Attention and edge fusion）， was proposed to obtain a complete segmentation result with clearer edge details of camouflage objects. Firstly， the SE （Squeeze-and-Excitation） attention was introduced to extract richer high-level semantic features. Secondly， an edge fusion module was proposed to restrain interference in low-level features and make full use of edge details information of the image. Finally， a channel attention module based on depthwise separable convolution was designed to gradually integrate cross-level multi-scale features in a top-down manner， which further improved detection accuracy and efficiency. Experimental results on multiple public COD datasets show that compared to eight mainstream methods such as SINet （Search Identification Net）， TINet （Texture-aware Interactive guidance Network） and C²FNet （Context-aware Cross-level Fusion Network）， CANet performs better and can obtain rich camouflage objects’ internal and edge detail information. Among them， CANet improves the structure-measure index by 2.6 percentage points compared to SINet on the challenging COD10K dataset. CANet has superior performance and is suitable for medical detection of lesion areas similar to human tissue， military detection of hidden targets， and other related fields.

Key words: Camouflage Object Segmentation (COS), edge fusion, Squeeze-and-Excitation (SE) attention module, depthwise separable convolution, multi-scale feature

中图分类号:

TP391.41

詹春兰, 王安志, 王明辉. 基于通道注意力和边缘融合的伪装目标分割方法[J]. 计算机应用, 2023, 43(7): 2166-2172.

Chunlan ZHAN, Anzhi WANG, Minghui WANG. Camouflage object segmentation method based on channel attention and edge fusion[J]. Journal of Computer Applications, 2023, 43(7): 2166-2172.

图/表 6

图1 伪装目标示例

Fig. 1 Examples of camouflage object

图2 本文方法的总体框架

Fig. 2 Overall framework of the proposed method

表1 本文方法与主流方法的定量指标对比

Tab. 1 Quantitative index comparison of the proposed method and mainstream methods

方法	期刊/年份	CHAMELEON				COD10K
方法	期刊/年份	$S α ↑$	$F β m e a n ↑$	$E ξ m e a n ↑$	$M A E ↓$	$S α ↑$	$F β m e a n ↑$	$E ξ m e a n ↑$	$M A E ↓$
NLDF	CVPR/17	0.798	0.714	0.809	0.063	0.701	0.539	0.709	0.059
PiCANet	CVPR/18	0.765	0.618	0.779	0.085	0.696	0.489	0.712	0.081
EGNet	ICCV/19	0.856	0.766	0.883	0.049	0.751	0.595	0.793	0.053
CPD	CVPR/19	0.857	0.771	0.857	0.048	0.750	0.595	0.776	0.053
F³Net	AAAI/20	0.848	0.770	0.894	0.047	0.739	0.593	0.795	0.051
SINet	CVPR/20	0.872	0.827	0.936	0.034	0.776	0.679	0.864	0.043
TINet	AAAI/21	0.874	0.783	0.916	0.038	0.793	0.635	0.848	0.043
C²FNet	IJCAI/21	0.854	0.785	0.906	0.045	0.788	0.680	0.862	0.045
本文方法	—	0.898	0.854	0.939	0.027	0.802	0.710	0.868	0.038

表1 本文方法与主流方法的定量指标对比

Tab. 1 Quantitative index comparison of the proposed method and mainstream methods

方法	期刊/年份	CHAMELEON				COD10K
方法	期刊/年份	$S α ↑$	$F β m e a n ↑$	$E ξ m e a n ↑$	$M A E ↓$	$S α ↑$	$F β m e a n ↑$	$E ξ m e a n ↑$	$M A E ↓$
NLDF	CVPR/17	0.798	0.714	0.809	0.063	0.701	0.539	0.709	0.059
PiCANet	CVPR/18	0.765	0.618	0.779	0.085	0.696	0.489	0.712	0.081
EGNet	ICCV/19	0.856	0.766	0.883	0.049	0.751	0.595	0.793	0.053
CPD	CVPR/19	0.857	0.771	0.857	0.048	0.750	0.595	0.776	0.053
F³Net	AAAI/20	0.848	0.770	0.894	0.047	0.739	0.593	0.795	0.051
SINet	CVPR/20	0.872	0.827	0.936	0.034	0.776	0.679	0.864	0.043
TINet	AAAI/21	0.874	0.783	0.916	0.038	0.793	0.635	0.848	0.043
C²FNet	IJCAI/21	0.854	0.785	0.906	0.045	0.788	0.680	0.862	0.045
本文方法	—	0.898	0.854	0.939	0.027	0.802	0.710	0.868	0.038

图3 本文方法与主流方法的视觉对比

Fig. 3 Visual comparison of the proposed method and mainstream methods

表2 在CHAMELEON和COD10K数据集上SE、DSCA、EFCBP模块的消融实验结果

Tab. 2 Ablation experimental results of SE， DSCA and EFCBP modules on CHAMELEON and COD10K datasets

方法	CHAMELEON				COD10K
方法	$S α ↑$	$F β m e a n ↑$	$E ξ m e a n ↑$	$M A E ↓$	$S α ↑$	$F β m e a n ↑$	$E ξ m e a n ↑$	$M A E ↓$
Basic	0.856	0.795	0.908	0.044	0.767	0.648	0.843	0.047
Basic+SE	0.872	0.822	0.920	0.038	0.791	0.690	0.858	0.044
Basic+DSCA	0.876	0.826	0.917	0.035	0.788	0.698	0.856	0.040
Basic+EFCBP	0.880	0.826	0.928	0.034	0.786	0.690	0.855	0.042
CANet	0.898	0.854	0.939	0.027	0.802	0.710	0.868	0.038

表2 在CHAMELEON和COD10K数据集上SE、DSCA、EFCBP模块的消融实验结果

Tab. 2 Ablation experimental results of SE， DSCA and EFCBP modules on CHAMELEON and COD10K datasets

方法	CHAMELEON				COD10K
方法	$S α ↑$	$F β m e a n ↑$	$E ξ m e a n ↑$	$M A E ↓$	$S α ↑$	$F β m e a n ↑$	$E ξ m e a n ↑$	$M A E ↓$
Basic	0.856	0.795	0.908	0.044	0.767	0.648	0.843	0.047
Basic+SE	0.872	0.822	0.920	0.038	0.791	0.690	0.858	0.044
Basic+DSCA	0.876	0.826	0.917	0.035	0.788	0.698	0.856	0.040
Basic+EFCBP	0.880	0.826	0.928	0.034	0.786	0.690	0.855	0.042
CANet	0.898	0.854	0.939	0.027	0.802	0.710	0.868	0.038

图4 本文方法中各个模块的视觉对比

Fig. 4 Visual comparison of modules of the proposed method

参考文献 27

1	SUN Y J， CHEN G， ZHOU T， et al. Context-aware cross-level fusion network for camouflaged object detection ［C］// Proceedings of the 30th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2021： 1025-1031. 10.24963/ijcai.2021/142
2	谭湘粤，胡晓，杨佳信，等.基于递进式特征增强聚合的伪装目标检测［J］.计算机应用， 2022， 42（7）： 2192-2200. 10.11772/j.issn.1001-9081.2021060900
	TAN X Y， HU X， YANG J X， et al. Camouflaged object detection based on progressive feature enhancement aggregation［J］. Journal of Computer Applications， 2022， 42（7）： 2192-2200. 10.11772/j.issn.1001-9081.2021060900
3	何淋艳，王安志，任春洪，等.伪装目标检测与分割研究进展［J］.软件导刊， 2022， 21（3）： 237-243.
	HE L Y， WANG A Z， REN C H， et al. Research advances in camouflage object detection and segmentation［J］. Software Guide， 2022， 21（3）： 237-243.
4	MEI H Y， JI G P， WEI Z Q， et al. Camouflaged object segmentation with distraction mining ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 8768-8777. 10.1109/cvpr46437.2021.00866
5	王安志，任春洪，何淋艳，等.基于多模态多级特征聚合网络的光场显著性目标检测［J］.计算机工程， 2022， 48（7）： 227-233， 240.
	WANG A Z， REN C H， HE L Y， et al. Light field salient object detection based on multi-modal multi-level feature aggregation network［J］. Computer Engineering， 2022， 48（7）： 227-233， 240.
6	李小雨，房体育，夏英杰，等.基于图割精细化和可微分聚类的无监督显著性目标检测［J］.计算机应用， 2021， 41（12）： 3571-3577. 10.11772/j.issn.1001-9081.2021061054
	LI X Y， FANG T Y， XIA Y J， et al. Unsupervised salient object detection based on graph cut refinement and differentiable clustering［J］. Journal of Computer Applications， 2021， 41（12）： 3571-3577. 10.11772/j.issn.1001-9081.2021061054
7	WU R M， FENG M Y， GUAN W L， et al. A mutual learning method for salient object detection with intertwined multi-supervision ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 8142-8151. 10.1109/cvpr.2019.00834
8	QIN X B， ZHANG Z C， HUANG C Y， et al. BASNet： boundary-aware salient object detection ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 7471-7481. 10.1109/cvpr.2019.00766
9	FENG M Y， LU H C， DING E R. Attentive feedback network for boundary-aware salient object detection ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1623-1632. 10.1109/cvpr.2019.00172
10	JI G P， ZHU L， ZHUGE M C， et al. Fast camouflaged object detection via edge-based reversible re-calibration network［J］. Pattern Recognition， 2022， 123： No.108414. 10.1016/j.patcog.2021.108414
11	ZHAO H S， SHI J P， QI X J， et al. Pyramid scene parsing network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6230-6239. 10.1109/cvpr.2017.660
12	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（4）： 834-848. 10.1109/tpami.2017.2699184
13	RAMACHANDRAN P， PARMAR N， VASWANI A， et al. Stand-alone self-attention in vision models ［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2019： 68-80.
14	HU J， SHEN L， SUN G. Squeeze-and-excitation networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
15	GAO S H， CHENG M M， ZHAO K， et al. Res2Net： a new multi-scale backbone architecture［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（2）： 652-662. 10.1109/tpami.2019.2938758
16	LE T N， NGUYEN T V， NIE Z L， et al. Anabranch network for camouflaged object segmentation［J］. Computer Vision and Image Understanding， 2019， 184： 45-56. 10.1016/j.cviu.2019.04.006
17	SKUROWSKI P， ABDULAMEER H， BŁASZCZYK J， et al. Animal camouflage analysis： CHAMELEON database［DB/OL］. ［2022-06-20］. .
18	FAN D P， JI G P， SUN G L， et al. Camouflaged object detection ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 2774-2784. 10.1109/cvpr42600.2020.00285
19	LV Y Q， ZHANG J， DAI Y C， et al. Simultaneously localize， segment and rank the camouflaged objects ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 11586-11596. 10.1109/cvpr46437.2021.01142
20	FAN D P， CHENG M M， LIU Y， et al. Structure measure： a new way to evaluate foreground maps ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 4558-4567. 10.1109/iccv.2017.487
21	FAN D P， GONG C， CAO Y， et al. Enhanced-alignment measure for binary foreground map evaluation ［C］// Proceedings of the 27th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2018： 698-704. 10.24963/ijcai.2018/97
22	LOU Z M， MISHRA A， ACHKAR A， et al. Non-local deep features for salient object detection ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6593-6601. 10.1109/cvpr.2017.698
23	LIU N， HAN J W， YANG M H. PiCANet： learning pixel-wise contextual attention for saliency detection ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 3089-3098. 10.1109/cvpr.2018.00326
24	ZHAO J X， LIU J J， FAN D P， et al. EGNet： edge guidance network for salient object detection ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 8778-8787. 10.1109/iccv.2019.00887
25	WU Z， SU L， HUANG Q M. Cascaded partial decoder for fast and accurate salient object detection ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3902-3911. 10.1109/cvpr.2019.00403
26	WEI J， WANG S H， HUANG Q M. F³Net： fusion， feedback and focus for salient object detection ［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 12321-12328. 10.1609/aaai.v34i07.6916
27	ZHU J C， ZHANG X Y， ZHANG S， et al. Inferring camouflaged objects by texture-aware interactive guidance network ［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 3599-3607. 10.1609/aaai.v35i4.16475

[1]	郭奕裕, 周箩鱼, 刘新瑜, 李尧. 改进注意力机制的电梯场景下危险品检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2295-2302.
[2]	郑帅, 张晓龙, 邓鹤, 任宏伟. 基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2303-2310.
[3]	蒋瑞林, 覃仁超. 基于深度可分离卷积的多神经网络恶意代码检测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1527-1533.
[4]	刘辉, 张琳玉, 王复港, 何如瑾. 基于注意力机制和上下文信息的目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1557-1564.
[5]	朱周华, 齐琦. 基于改进YOLOv5s电动车头盔的自动检测与识别[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1291-1296.
[6]	杨有, 张汝荟, 许鹏程, 康慷, 翟浩. 面向民国档案印章分割的改进U-Net[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 943-948.
[7]	吕玉超, 姜茜, 徐英豪, 朱习军. 基于多尺度特征融合的改进臂丛神经分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 273-279.
[8]	张怡, 孙永荣, 赵科东, 李华, 曾庆化. 空中加油场景下的目标联合检测跟踪算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2893-2899.
[9]	强赞霞, 鲍先富. 基于卷积长短期记忆的残差注意力去雨网络[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2858-2864.
[10]	李坤, 侯庆. 基于注意力机制的轻量型人体姿态估计[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2407-2414.
[11]	薛远亮, 金国栋, 谭力宁, 许剑锟. 基于像素分类的多尺度无人机航拍目标旋转跟踪算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2239-2247.
[12]	贺怀清, 闫建青, 惠康华. 基于深度残差网络的轻量级人脸识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2030-2036.
[13]	仇天昊, 陈淑荣. 基于EfficientNet的双分路多尺度联合学习行人再识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2065-2071.
[14]	邓天民, 冒国韬, 周臻浩, 段志坚. 基于密集连接卷积神经网络的道路车辆检测与识别算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 883-889.
[15]	彭禹, 宋耀莲, 杨俊. 基于数据增强的运动想象脑电分类[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3625-3632.

基于通道注意力和边缘融合的伪装目标分割方法

Camouflage object segmentation method based on channel attention and edge fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 27

相关文章 15

编辑推荐

Metrics