基于循环一致性对抗网络的数码迷彩伪装生成方法

doi:10.11772/j.issn.1001-9081.2019091625

《计算机应用》唯一官方网站 ›› 2020, Vol. 40 ›› Issue (2): 566-570.DOI: 10.11772/j.issn.1001-9081.2019091625

• 第七届CCF大数据学术会议 • 上一篇下一篇

基于循环一致性对抗网络的数码迷彩伪装生成方法

滕旭¹, 张晖²(), 杨春明¹, 赵旭剑¹, 李波¹

^1.西南科技大学计算机科学与技术学院，四川绵阳 621010
^2.西南科技大学理学院，四川绵阳 621010

收稿日期:2019-08-20 修回日期:2019-09-24 接受日期:2019-10-09 发布日期:2019-10-14 出版日期:2020-02-10
通讯作者: 张晖
作者简介:滕旭（1996—），男，江苏徐州人，硕士研究生，主要研究方向：深度学习、生成对抗式网络
杨春明（1980-），男，云南华坪人，副教授，硕士，主要研究方向：数据挖掘、自然语言处理
赵旭剑（1984—），男，山西运城人，副教授，博士，主要研究方向：机器学习、自然语言处理
李波（1977—），男，四川绵阳人，讲师，博士研究生，主要研究方向：信息安全、信息过滤。
基金资助:
教育部人文社科基金资助项目(17YJCZH260);赛尔网络下一代互联网技术创新项目(NGII20180403)

Digital camouflage generation method based on cycle-consistent adversarial network

Xu TENG¹, Hui ZHANG²(), Chunming YANG¹, Xujian ZHAO¹, Bo LI¹

^1.School of Computer Science and Technology，Southwest University of Science and Technology，Mianyang Sichuan 621010，China
^2.School of Science，Southwest University of Science and Technology，Mianyang Sichuan 621010，China

Received:2019-08-20 Revised:2019-09-24 Accepted:2019-10-09 Online:2019-10-14 Published:2020-02-10
Contact: Hui ZHANG
About author:TENG Xu， born in 1996， M. S. candidate. His research interests include deep Learning， generative adversarial network.
YANG Chunming， born in 1980， M. S.， associate professor. His research interests include data mining， natural language processing.
ZHAO Xujian， born in 1984， Ph. D.， associate professor. His research interests include machine learning， natural language processing.
LI Bo， born in 1977， Ph. D. candidate， lecturer. His research interests include information safety， information filtering.
Supported by:
the Foundation of Humanities and Social Sciences of Ministry of Education(17YJCZH260);the CERNET Innovation Project for Next Generation Internet Technology(NGII20180403)

摘要/Abstract

摘要：

针对传统的数码迷彩生成方法无法根据背景实时生成数码迷彩的问题，提出一种基于循环一致性对抗网络的数码迷彩生成方法。首先，使用密集连接卷积网络提取图像特征，将学习到的数码迷彩特征映射到背景图像中；其次，加入颜色保持损失来提高数码迷彩的生成质量，保证生成的数码迷彩与周围的背景颜色相一致；最后，在判别器中加入自归一化神经网络以提高模型对噪声的鲁棒性。由于缺乏数码迷彩伪装效果的客观评价标准，采用边缘检测算法与结构相似性（SSIM）算法对生成的数码迷彩的伪装效果进行评估。实验结果表明，该方法在自制数据集上生成的数码迷彩伪装的SSIM得分比已有算法的得分降低了30%以上，验证了它在数码迷彩生成任务上的有效性。

关键词: 深度学习, 生成对抗式网络, 数码迷彩, 边缘检测, 密集连接卷积网络

Abstract:

Traditional methods of generating digital camouflages cannot generate digital camouflages based on the background information in real time. In order to cope with this problem， a digital camouflage generation method based on cycle-consistent adversarial network was proposed. Firstly， the image features were extracted by using densely connected convolutional network， and the learned digital camouflage features were mapped into the background image. Secondly， the color retention loss was added to improve the quality of generated digital camouflages， ensuring that the generated digital camouflages were consistent with the surrounding background colors. Finally， a self-normalized neural network was added to the discriminator to improve the robustness of the model against noise. For the lack of objective evaluation criteria for digital camouflages， the edge detection algorithm and the Structural SIMilarity （SSIM） algorithm were used to evaluate the camouflage effects of the generated digital camouflages. Experimental results show that the SSIM score of the digital camouflage generated by the proposed method on the self-made datasets is reduced by more than 30% compared with the existing algorithms， verifying the effectiveness of the proposed method in the digital camouflage generation task.

Key words: deep learning, generated adversarial network, digital camouflage, edge detection, densely connected convolutional network

中图分类号:

TP391

滕旭, 张晖, 杨春明, 赵旭剑, 李波. 基于循环一致性对抗网络的数码迷彩伪装生成方法[J]. 计算机应用, 2020, 40(2): 566-570.

Xu TENG, Hui ZHANG, Chunming YANG, Xujian ZHAO, Bo LI. Digital camouflage generation method based on cycle-consistent adversarial network[J]. Journal of Computer Applications, 2020, 40(2): 566-570.

图/表 10

图1 数码迷彩及其伪装效果

Fig. 1 Digital camouflage and its camouflage effect

图2 本文模型整体结构

Fig. 2 Overall structure of the proposed model

图3 使用DenseNet的生成模型结构

Fig. 3 Structure of generating model using DenseNet

表1 生成模型网络结构

Tab. 1 Network structure of generating model

模块	结构
编码器	7×7 Conv-Norm-ELU， $s t r i d e = 1, f i l t e r = 64$
	3×3 Conv-Norm-ELU， $s t r i d e = 2, f i l t e r = 128$
	3×3 Conv-Norm-ELU， $s t r i d e = 2, f i l t e r = 256$
DenseNet层	Dense Block， $k = 64$
	Dense Block， $k = 64$
	Dense Block， $k = 64$
	Dense Block， $k = 64$
	Dense Block， $k = 64$
解码器	3×3 Deconv-Norm-SELU， $s t r i d e = 1 / 2, f i l t e r = 128$
	3×3 Deconv-Norm-SELU， $s t r i d e = 1 / 2, f i l t e r = 64$
	7×7 Conv-Norm-SELU， $s t r i d e = 1, f i l t e r = 3$

表1 生成模型网络结构

Tab. 1 Network structure of generating model

模块	结构
编码器	7×7 Conv-Norm-ELU， $s t r i d e = 1, f i l t e r = 64$
	3×3 Conv-Norm-ELU， $s t r i d e = 2, f i l t e r = 128$
	3×3 Conv-Norm-ELU， $s t r i d e = 2, f i l t e r = 256$
DenseNet层	Dense Block， $k = 64$
	Dense Block， $k = 64$
	Dense Block， $k = 64$
	Dense Block， $k = 64$
	Dense Block， $k = 64$
解码器	3×3 Deconv-Norm-SELU， $s t r i d e = 1 / 2, f i l t e r = 128$
	3×3 Deconv-Norm-SELU， $s t r i d e = 1 / 2, f i l t e r = 64$
	7×7 Conv-Norm-SELU， $s t r i d e = 1, f i l t e r = 3$

表2 判别模型网络结构

Tab. 2 Network structure of discriminator model

模块	结构
卷积层	4×4 Conv-SELU， $s t r i d e = 2, f i l t e r = 64$
	4×4 Conv-Norm-SELU， $s t r i d e = 2, f i l t e r = 128$
	4×4 Conv-Norm-SELU， $s t r i d e = 2, f i l t e r = 256$
	4×4 Conv-Norm-SELU， $s t r i d e = 2, f i l t e r = 512$
	4×4 Conv， $s t r i d e = 1, f i l t e r = 64$

表2 判别模型网络结构

Tab. 2 Network structure of discriminator model

模块	结构
卷积层	4×4 Conv-SELU， $s t r i d e = 2, f i l t e r = 64$
	4×4 Conv-Norm-SELU， $s t r i d e = 2, f i l t e r = 128$
	4×4 Conv-Norm-SELU， $s t r i d e = 2, f i l t e r = 256$
	4×4 Conv-Norm-SELU， $s t r i d e = 2, f i l t e r = 512$
	4×4 Conv， $s t r i d e = 1, f i l t e r = 64$

图4 使用不同激活函数生成数码迷彩伪装

Fig. 4 Digital camouflages generated by using different activation functions

图5 不同模型生成的数码迷彩效果对比

Fig. 5 Effect comparison of digital camouflages generated by different models

表3 不同边缘检测算法的SSIM评分

Tab. 3 SSIM scores of different edge detection algorithms

算法	Canny	Laplacian	Sobel
SSIM 得分	0.066	0.013	0.041
	0.103	0.057	0.086
	0.032	0.015	0.007
平均得分	0.067	0.028	0.044

图6 不同模型生成迷彩经过Canny检测的效果

Fig. 6 Results of camouflages generated by different models after Canny detection

表4 不同模型的SSIM得分

Tab. 4 SSIM scores for different models

模型	激活函数	SSIM得分
ResNet	ReLU+LReLU	0.643
	ELU+LReLU	0.576
	ELU+SELU	0.513
DenseNet	ReLU+LReLU	0.601
	ELU+LReLU	0.437
	ELU+SELU	0.421
	$λ = 5$	0.513
	$λ = 1$	0.423
	$λ = 0.5$	0.412
	$λ = 0.1$	0.443
神经风格迁移模型	\	0.615

表4 不同模型的SSIM得分

Tab. 4 SSIM scores for different models

模型	激活函数	SSIM得分
ResNet	ReLU+LReLU	0.643
	ELU+LReLU	0.576
	ELU+SELU	0.513
DenseNet	ReLU+LReLU	0.601
	ELU+LReLU	0.437
	ELU+SELU	0.421
	$λ = 5$	0.513
	$λ = 1$	0.423
	$λ = 0.5$	0.412
	$λ = 0.1$	0.443
神经风格迁移模型	\	0.615

参考文献 17

1	颜云辉，王展，董德威.军事伪装技术的发展现状与趋势［J］. 中国机械工程， 2012， 23（17）： 2136-2141. 10.3969/j.issn.1004-132X.2012.17.024
	YAN Y H， WANG Z， DONG D W. Current actuality and development tendency of military camouflage technology［J］. China Mechanical Engineering， 2012， 23（17）： 2136-2141. 10.3969/j.issn.1004-132X.2012.17.024
2	ISOLA P， ZHU J， ZHOU T， et al. Image-to-image translation with conditional adversarial networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5967-5976. 10.1109/cvpr.2017.632
3	ZHU J， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2242-2251. 10.1109/iccv.2017.244
4	秦雷，胡江华，付天齐. 一种新的数码迷彩生成方法［J］ .光电技术应用， 2013， 28（5）：33-35， 45. 10.3969/j.issn.1673-1255.2013.05.009
	QIN L， HU J H， FU T Q. New method of digital camouflage generation［J］. Electro-Optic Technology Application， 2013， 28（5）： 33-35， 45. 10.3969/j.issn.1673-1255.2013.05.009
5	喻钧，双晓. 仿造数码迷彩的设计方法［J］. 应用科学学报， 2012， 30（4）：331-334. 10.3969/j.issn.0255-8297.2012.04.001
	YU J， SHUANG X. Design of imitation digital camouﬂage［J］. Journal of Applied Sciences， 2012， 30（4）： 331-334. 10.3969/j.issn.0255-8297.2012.04.001
6	贾其，吕绪良，吴超，等. 马尔科夫随机场和金字塔模型用于数字迷彩图案设计［J］. 应用科学学报， 2011， 30（6）： 624-628.
	JIA Q， LYU X L， WU C， et al. Application of Markov random field and pyramid structure in the design of digital pattern painting［J］. Journal of Applied Sciences， 2011， 30（6）： 624-628.
7	徐英. 基于背景代表色提取的迷彩伪装颜色选取算法［J］. 光电工程， 2007， 34（1）：100-103， 144.
	XU Y. Camouflage color selection based on dominant color extraction［J］. Opto-Electronic Engineering， 2007， 34（1）： 100-103， 144.
8	HU J， LU Y， YANG X. Research of infrared digital camouflage design and generation［C］// Proceedings of the 5th Conference on Frontiers in Optical Imaging Technology and Applications， SPIE10832. Bellingham： SPIE， 2018：1-6.
9	XUE F， XU S， LUO Y， et al. Design of digital camouflage by recursive overlapping of pattern templates［J］. Neurocomputing， 2016， 172： 262-270. 10.1016/j.neucom.2014.12.108
10	GATYS L A， ECKER A S， BETHGE M. A neural algorithm of artistic style［EB/OL］. ［2019-02-20］. . 10.1167/16.12.326
11	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. ［2019-02-20］. . 10.5244/c.28.6
12	GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.
13	HUANG G， LIU Z， MAATEN L VAN DER， et al. Densely connected convolutional networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2261-2269. 10.1109/cvpr.2017.243
14	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
15	KLAMBAUER G， UNTERTHINER T， MAYR A， et al. Self-normalizing neural networks［C］// Proceedings of the 31st Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2017： 971-980. 10.1016/j.toxlet.2017.07.175
16	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe， Nevada： Curran Associates Inc.， 2012： 1097-1105.
17	THORPE S， FIZE D， MARLOT C. Speed of processing in the human visual system［J］. Nature， 1996， 381（6582）： 520-522. 10.1038/381520a0

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[4]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[5]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[6]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[7]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[8]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[9]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.
[10]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[11]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.
[12]	孔哲, 李寒, 甘少伟, 孔明茹, 何冰涛, 郭子钰, 金督程, 邱兆文. 基于非对称多解码器和注意力模块的三维肾脏影像结构分割模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2216-2224.
[13]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[14]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[15]	张郅, 李欣, 叶乃夫, 胡凯茜. 基于暗知识保护的模型窃取防御技术DKP[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2080-2086.

基于循环一致性对抗网络的数码迷彩伪装生成方法

Digital camouflage generation method based on cycle-consistent adversarial network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 17

相关文章 15

编辑推荐

Metrics