基于循环一致性对抗网络的数码迷彩伪装生成方法

doi:10.11772/j.issn.1001-9081.2019091625

《计算机应用》唯一官方网站 ›› 2020, Vol. 40 ›› Issue (2): 566-570.DOI: 10.11772/j.issn.1001-9081.2019091625

• 第七届CCF大数据学术会议 • 上一篇下一篇

基于循环一致性对抗网络的数码迷彩伪装生成方法

滕旭¹, 张晖²(), 杨春明¹, 赵旭剑¹, 李波¹

^1.西南科技大学计算机科学与技术学院，四川绵阳 621010
^2.西南科技大学理学院，四川绵阳 621010

收稿日期:2019-08-20 修回日期:2019-09-24 接受日期:2019-10-09 发布日期:2019-10-14 出版日期:2020-02-10
通讯作者: 张晖
作者简介:滕旭（1996—），男，江苏徐州人，硕士研究生，主要研究方向：深度学习、生成对抗式网络
杨春明（1980-），男，云南华坪人，副教授，硕士，主要研究方向：数据挖掘、自然语言处理
赵旭剑（1984—），男，山西运城人，副教授，博士，主要研究方向：机器学习、自然语言处理
李波（1977—），男，四川绵阳人，讲师，博士研究生，主要研究方向：信息安全、信息过滤。
基金资助:
教育部人文社科基金资助项目(17YJCZH260);赛尔网络下一代互联网技术创新项目(NGII20180403)

Digital camouflage generation method based on cycle-consistent adversarial network

Xu TENG¹, Hui ZHANG²(), Chunming YANG¹, Xujian ZHAO¹, Bo LI¹

^1.School of Computer Science and Technology，Southwest University of Science and Technology，Mianyang Sichuan 621010，China
^2.School of Science，Southwest University of Science and Technology，Mianyang Sichuan 621010，China

Received:2019-08-20 Revised:2019-09-24 Accepted:2019-10-09 Online:2019-10-14 Published:2020-02-10
Contact: Hui ZHANG
About author:TENG Xu， born in 1996， M. S. candidate. His research interests include deep Learning， generative adversarial network.
YANG Chunming， born in 1980， M. S.， associate professor. His research interests include data mining， natural language processing.
ZHAO Xujian， born in 1984， Ph. D.， associate professor. His research interests include machine learning， natural language processing.
LI Bo， born in 1977， Ph. D. candidate， lecturer. His research interests include information safety， information filtering.
Supported by:
the Foundation of Humanities and Social Sciences of Ministry of Education(17YJCZH260);the CERNET Innovation Project for Next Generation Internet Technology(NGII20180403)

摘要/Abstract

摘要：

针对传统的数码迷彩生成方法无法根据背景实时生成数码迷彩的问题，提出一种基于循环一致性对抗网络的数码迷彩生成方法。首先，使用密集连接卷积网络提取图像特征，将学习到的数码迷彩特征映射到背景图像中；其次，加入颜色保持损失来提高数码迷彩的生成质量，保证生成的数码迷彩与周围的背景颜色相一致；最后，在判别器中加入自归一化神经网络以提高模型对噪声的鲁棒性。由于缺乏数码迷彩伪装效果的客观评价标准，采用边缘检测算法与结构相似性（SSIM）算法对生成的数码迷彩的伪装效果进行评估。实验结果表明，该方法在自制数据集上生成的数码迷彩伪装的SSIM得分比已有算法的得分降低了30%以上，验证了它在数码迷彩生成任务上的有效性。

关键词: 深度学习, 生成对抗式网络, 数码迷彩, 边缘检测, 密集连接卷积网络

Abstract:

Traditional methods of generating digital camouflages cannot generate digital camouflages based on the background information in real time. In order to cope with this problem， a digital camouflage generation method based on cycle-consistent adversarial network was proposed. Firstly， the image features were extracted by using densely connected convolutional network， and the learned digital camouflage features were mapped into the background image. Secondly， the color retention loss was added to improve the quality of generated digital camouflages， ensuring that the generated digital camouflages were consistent with the surrounding background colors. Finally， a self-normalized neural network was added to the discriminator to improve the robustness of the model against noise. For the lack of objective evaluation criteria for digital camouflages， the edge detection algorithm and the Structural SIMilarity （SSIM） algorithm were used to evaluate the camouflage effects of the generated digital camouflages. Experimental results show that the SSIM score of the digital camouflage generated by the proposed method on the self-made datasets is reduced by more than 30% compared with the existing algorithms， verifying the effectiveness of the proposed method in the digital camouflage generation task.

Key words: deep learning, generated adversarial network, digital camouflage, edge detection, densely connected convolutional network

中图分类号:

TP391

滕旭, 张晖, 杨春明, 赵旭剑, 李波. 基于循环一致性对抗网络的数码迷彩伪装生成方法[J]. 计算机应用, 2020, 40(2): 566-570.

Xu TENG, Hui ZHANG, Chunming YANG, Xujian ZHAO, Bo LI. Digital camouflage generation method based on cycle-consistent adversarial network[J]. Journal of Computer Applications, 2020, 40(2): 566-570.

图/表 10

图1 数码迷彩及其伪装效果

Fig. 1 Digital camouflage and its camouflage effect

图2 本文模型整体结构

Fig. 2 Overall structure of the proposed model

图3 使用DenseNet的生成模型结构

Fig. 3 Structure of generating model using DenseNet

表1 生成模型网络结构

Tab. 1 Network structure of generating model

模块	结构
编码器	7×7 Conv-Norm-ELU， $s t r i d e = 1, f i l t e r = 64$
	3×3 Conv-Norm-ELU， $s t r i d e = 2, f i l t e r = 128$
	3×3 Conv-Norm-ELU， $s t r i d e = 2, f i l t e r = 256$
DenseNet层	Dense Block， $k = 64$
	Dense Block， $k = 64$
	Dense Block， $k = 64$
	Dense Block， $k = 64$
	Dense Block， $k = 64$
解码器	3×3 Deconv-Norm-SELU， $s t r i d e = 1 / 2, f i l t e r = 128$
	3×3 Deconv-Norm-SELU， $s t r i d e = 1 / 2, f i l t e r = 64$
	7×7 Conv-Norm-SELU， $s t r i d e = 1, f i l t e r = 3$

表1 生成模型网络结构

Tab. 1 Network structure of generating model

模块	结构
编码器	7×7 Conv-Norm-ELU， $s t r i d e = 1, f i l t e r = 64$
	3×3 Conv-Norm-ELU， $s t r i d e = 2, f i l t e r = 128$
	3×3 Conv-Norm-ELU， $s t r i d e = 2, f i l t e r = 256$
DenseNet层	Dense Block， $k = 64$
	Dense Block， $k = 64$
	Dense Block， $k = 64$
	Dense Block， $k = 64$
	Dense Block， $k = 64$
解码器	3×3 Deconv-Norm-SELU， $s t r i d e = 1 / 2, f i l t e r = 128$
	3×3 Deconv-Norm-SELU， $s t r i d e = 1 / 2, f i l t e r = 64$
	7×7 Conv-Norm-SELU， $s t r i d e = 1, f i l t e r = 3$

表2 判别模型网络结构

Tab. 2 Network structure of discriminator model

模块	结构
卷积层	4×4 Conv-SELU， $s t r i d e = 2, f i l t e r = 64$
	4×4 Conv-Norm-SELU， $s t r i d e = 2, f i l t e r = 128$
	4×4 Conv-Norm-SELU， $s t r i d e = 2, f i l t e r = 256$
	4×4 Conv-Norm-SELU， $s t r i d e = 2, f i l t e r = 512$
	4×4 Conv， $s t r i d e = 1, f i l t e r = 64$

表2 判别模型网络结构

Tab. 2 Network structure of discriminator model

模块	结构
卷积层	4×4 Conv-SELU， $s t r i d e = 2, f i l t e r = 64$
	4×4 Conv-Norm-SELU， $s t r i d e = 2, f i l t e r = 128$
	4×4 Conv-Norm-SELU， $s t r i d e = 2, f i l t e r = 256$
	4×4 Conv-Norm-SELU， $s t r i d e = 2, f i l t e r = 512$
	4×4 Conv， $s t r i d e = 1, f i l t e r = 64$

图4 使用不同激活函数生成数码迷彩伪装

Fig. 4 Digital camouflages generated by using different activation functions

图5 不同模型生成的数码迷彩效果对比

Fig. 5 Effect comparison of digital camouflages generated by different models

表3 不同边缘检测算法的SSIM评分

Tab. 3 SSIM scores of different edge detection algorithms

算法	Canny	Laplacian	Sobel
SSIM 得分	0.066	0.013	0.041
	0.103	0.057	0.086
	0.032	0.015	0.007
平均得分	0.067	0.028	0.044

图6 不同模型生成迷彩经过Canny检测的效果

Fig. 6 Results of camouflages generated by different models after Canny detection

表4 不同模型的SSIM得分

Tab. 4 SSIM scores for different models

模型	激活函数	SSIM得分
ResNet	ReLU+LReLU	0.643
	ELU+LReLU	0.576
	ELU+SELU	0.513
DenseNet	ReLU+LReLU	0.601
	ELU+LReLU	0.437
	ELU+SELU	0.421
	$λ = 5$	0.513
	$λ = 1$	0.423
	$λ = 0.5$	0.412
	$λ = 0.1$	0.443
神经风格迁移模型	\	0.615

表4 不同模型的SSIM得分

Tab. 4 SSIM scores for different models

模型	激活函数	SSIM得分
ResNet	ReLU+LReLU	0.643
	ELU+LReLU	0.576
	ELU+SELU	0.513
DenseNet	ReLU+LReLU	0.601
	ELU+LReLU	0.437
	ELU+SELU	0.421
	$λ = 5$	0.513
	$λ = 1$	0.423
	$λ = 0.5$	0.412
	$λ = 0.1$	0.443
神经风格迁移模型	\	0.615

参考文献 17

1	颜云辉，王展，董德威.军事伪装技术的发展现状与趋势［J］. 中国机械工程， 2012， 23（17）： 2136-2141. 10.3969/j.issn.1004-132X.2012.17.024
	YAN Y H， WANG Z， DONG D W. Current actuality and development tendency of military camouflage technology［J］. China Mechanical Engineering， 2012， 23（17）： 2136-2141. 10.3969/j.issn.1004-132X.2012.17.024
2	ISOLA P， ZHU J， ZHOU T， et al. Image-to-image translation with conditional adversarial networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5967-5976. 10.1109/cvpr.2017.632
3	ZHU J， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2242-2251. 10.1109/iccv.2017.244
4	秦雷，胡江华，付天齐. 一种新的数码迷彩生成方法［J］ .光电技术应用， 2013， 28（5）：33-35， 45. 10.3969/j.issn.1673-1255.2013.05.009
	QIN L， HU J H， FU T Q. New method of digital camouflage generation［J］. Electro-Optic Technology Application， 2013， 28（5）： 33-35， 45. 10.3969/j.issn.1673-1255.2013.05.009
5	喻钧，双晓. 仿造数码迷彩的设计方法［J］. 应用科学学报， 2012， 30（4）：331-334. 10.3969/j.issn.0255-8297.2012.04.001
	YU J， SHUANG X. Design of imitation digital camouﬂage［J］. Journal of Applied Sciences， 2012， 30（4）： 331-334. 10.3969/j.issn.0255-8297.2012.04.001
6	贾其，吕绪良，吴超，等. 马尔科夫随机场和金字塔模型用于数字迷彩图案设计［J］. 应用科学学报， 2011， 30（6）： 624-628.
	JIA Q， LYU X L， WU C， et al. Application of Markov random field and pyramid structure in the design of digital pattern painting［J］. Journal of Applied Sciences， 2011， 30（6）： 624-628.
7	徐英. 基于背景代表色提取的迷彩伪装颜色选取算法［J］. 光电工程， 2007， 34（1）：100-103， 144.
	XU Y. Camouflage color selection based on dominant color extraction［J］. Opto-Electronic Engineering， 2007， 34（1）： 100-103， 144.
8	HU J， LU Y， YANG X. Research of infrared digital camouflage design and generation［C］// Proceedings of the 5th Conference on Frontiers in Optical Imaging Technology and Applications， SPIE10832. Bellingham： SPIE， 2018：1-6.
9	XUE F， XU S， LUO Y， et al. Design of digital camouflage by recursive overlapping of pattern templates［J］. Neurocomputing， 2016， 172： 262-270. 10.1016/j.neucom.2014.12.108
10	GATYS L A， ECKER A S， BETHGE M. A neural algorithm of artistic style［EB/OL］. ［2019-02-20］. . 10.1167/16.12.326
11	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. ［2019-02-20］. . 10.5244/c.28.6
12	GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.
13	HUANG G， LIU Z， MAATEN L VAN DER， et al. Densely connected convolutional networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2261-2269. 10.1109/cvpr.2017.243
14	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
15	KLAMBAUER G， UNTERTHINER T， MAYR A， et al. Self-normalizing neural networks［C］// Proceedings of the 31st Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2017： 971-980. 10.1016/j.toxlet.2017.07.175
16	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe， Nevada： Curran Associates Inc.， 2012： 1097-1105.
17	THORPE S， FIZE D， MARLOT C. Speed of processing in the human visual system［J］. Nature， 1996， 381（6582）： 520-522. 10.1038/381520a0

[1]	谢德峰, 吉建民. 融入句法感知表示进行句法增强的语义解析[J]. 计算机应用, 2021, 41(9): 2489-2495.
[2]	代雨柔, 杨庆, 张凤荔, 周帆. 基于自监督学习的社交网络用户轨迹预测模型[J]. 计算机应用, 2021, 41(9): 2545-2551.
[3]	陈成瑞, 孙宁, 何世彪, 廖勇. 面向C-V2X通信的基于深度学习的联合信道估计与均衡算法[J]. 计算机应用, 2021, 41(9): 2687-2693.
[4]	郑志强, 胡鑫, 翁智, 王雨禾, 程曦. 基于改进DenseNet的牛眼图像特征提取方法[J]. 计算机应用, 2021, 41(9): 2780-2784.
[5]	赵宏, 孔东一. 图像特征注意力与自适应注意力融合的图像内容中文描述[J]. 计算机应用, 2021, 41(9): 2496-2503.
[6]	徐江浪, 李林燕, 万新军, 胡伏原. 结合目标检测的室内场景识别方法[J]. 计算机应用, 2021, 41(9): 2720-2725.
[7]	何正海, 线岩团, 王蒙, 余正涛. 融合句法指导与字符注意力机制的案情阅读理解方法[J]. 计算机应用, 2021, 41(8): 2427-2431.
[8]	曹玉红, 徐海, 刘荪傲, 王紫霄, 李宏亮. 基于深度学习的医学影像分割研究综述[J]. 计算机应用, 2021, 41(8): 2273-2287.
[9]	秦斌斌, 彭良康, 卢向明, 钱江波. 司机分心驾驶检测研究进展[J]. 计算机应用, 2021, 41(8): 2330-2337.
[10]	王月, 江逸茗, 兰巨龙. 基于改进三元组网络和K近邻算法的入侵检测[J]. 计算机应用, 2021, 41(7): 1996-2002.
[11]	李亚芳, 梁烨, 冯韦玮, 祖宝开, 康玉健. 基于社区优化的深度网络嵌入方法[J]. 计算机应用, 2021, 41(7): 1956-1963.
[12]	高钦泉, 黄炳城, 刘文哲, 童同. 基于改进CenterNet的竹条表面缺陷检测方法[J]. 计算机应用, 2021, 41(7): 1933-1938.
[13]	杜炎, 吕良福, 焦一辰. 基于模糊推理的模糊原型网络[J]. 计算机应用, 2021, 41(7): 1885-1890.
[14]	侯笑晗, 金国栋, 谭力宁, 薛远亮. 基于自适应和最优特征的合成孔径雷达舰船检测方法[J]. 计算机应用, 2021, 41(7): 2150-2155.
[15]	史杨潇, 章军, 陈鹏, 王兵. 基于轻量级网络的钢铁表面缺陷分类[J]. 计算机应用, 2021, 41(6): 1836-1841.

基于循环一致性对抗网络的数码迷彩伪装生成方法

Digital camouflage generation method based on cycle-consistent adversarial network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 17

相关文章 15

编辑推荐

Metrics