基于多空间概率增强的图像对抗样本生成方法

doi:10.11772/j.issn.1001-9081.2024040495

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (3): 883-890.DOI: 10.11772/j.issn.1001-9081.2024040495

基于多空间概率增强的图像对抗样本生成方法

王华华¹^,², 范子健¹^,²(), 刘泽²^,³

^1.重庆邮电大学软件工程学院，重庆 400065
^2.移动通信技术重庆市重点实验室（重庆邮电大学），重庆 400065
^3.重庆邮电大学通信与信息工程学院，重庆 400065

收稿日期:2024-04-23 修回日期:2024-08-14 接受日期:2024-08-16 发布日期:2025-03-17 出版日期:2025-03-10
通讯作者: 范子健
作者简介:王华华（1981—），男，山西临汾人，正高级工程师，硕士，主要研究方向：无线通信、智能安全
刘泽（1999—），男，江西吉安人，硕士研究生，主要研究方向：深度学习、信号识别。
基金资助:
重庆市自然科学基金创新发展联合基金（中国星网）资助项目(CSTB2023NSCQ-LZX0114)

Image adversarial example generation method based on multi-space probability enhancement

Huahua WANG¹^,², Zijian FAN¹^,²(), Ze LIU²^,³

^1.School of Software Engineering，Chongqing University of Posts and Telecommunications，Chongqing 400065，China
^2.Chongqing Key Laboratory of Mobile Communication Technology （Chongqing University of Posts and Telecommunications），Chongqing 400065，China
^3.School of Communication and Information Engineering，Chongqing University of Posts and Telecommunications，Chongqing 400065，China

Received:2024-04-23 Revised:2024-08-14 Accepted:2024-08-16 Online:2025-03-17 Published:2025-03-10
Contact: Zijian FAN
About author:WANG Huahua， born in 1981， M. S.， professorate senior engineer. His research interests include wireless communications， intelligent security.
LIU Ze， born in 1999， M. S. candidate. His research interests include deep learning， signal recognition.
Supported by:
Innovation and Development Joint Fund of Chongqing Natural Science Foundation （China Star Network）(CSTB2023NSCQ-LZX0114)

摘要/Abstract

摘要：

对抗样本能够有效评估深度神经网络的鲁棒性和安全性。针对黑盒场景下对抗攻击成功率低的问题，为提高对抗样本的可迁移性，提出一种基于多空间概率增强的对抗样本生成方法（MPEAM）。所提方法通过在对抗样本生成方法中引入2条随机数据增强支路，而各支路分别基于像素空间和HSV颜色空间实现图像的随机裁剪填充（CP）和随机颜色变换（CC），并通过构建概率模型控制返回的图像样本，从而在增加原始样本多样性的同时降低对抗样本对原数据集的依赖，进而提高对抗样本的可迁移性。在此基础上，将所提方法引入集成模型中，以进一步提升黑盒场景下对抗样本攻击的成功率。在ImageNet数据集上的大量实验结果表明，相较于基准方法——迭代快速梯度符号方法（IFGSM）和动量迭代快速梯度符号方法（MIFGSM），所提方法的黑盒攻击成功率分别平均提升了28.72和8.44个百分点；相较于基于单空间概率增强的对抗攻击方法，所提方法的黑盒攻击成功率最高提升了6.81个百分点。以上验证了所提方法能够以较小的复杂度代价提高对抗样本的可迁移性，并实现黑盒场景下的有效攻击。

关键词: 对抗样本, 深度神经网络, 黑盒场景, 可迁移性, 多空间概率增强

Abstract:

Adversarial examples can evaluate the robustness and safety of deep neural networks effectively. Aiming at the problem of low success rate of adversarial attacks in black-box scenarios and to improve the transferability of adversarial examples， a Multi-space Probability Enhancement Adversarial example generation Method （MPEAM） was proposed. The transferability of the adversarial examples was improved by the proposed method through introduction of two pieces of random data enhancement branches in the adversarial example generation method. In this process， random image Cropping and Padding （CP） based on the pixel space， as well as random Color Changing （CC） based on HSV color space， were implemented， respectively， by each branch. At the same time， the returned image examples were controlled by constructing a probability model， which increased the diversity of the original examples while decreasing the dependence of the adversarial examples on the original dataset， thereby enhancing the transferability of adversarial examples. On this basis， the proposed method was introduced into the integration model to further improve the success rate of the adversarial example attack in black-box scenarios. After extensive experiments on ImageNet dataset， the experimental results show that the proposed method improves the black-box attack success rate by 28.72 and 8.44 percentage points， averagely and respectively， compared to the benchmark methods Iterative Fast Gradient Sign Method （IFGSM） and Momentum Iterative Fast Gradient Sign Method （MIFGSM）， and improves the black-box attack success rate by up to 6.81 percentage points compared to the attack methods based on single-space probability enhancement. The above indicates that the proposed method can improve the transferability of adversarial examples at a small cost of complexity and achieve effective attacks in black-box scenarios.

Key words: adversarial example, deep neural network, black-box scenario, transferability, multi-space probability enhancement

中图分类号:

TP391

王华华, 范子健, 刘泽. 基于多空间概率增强的图像对抗样本生成方法[J]. 计算机应用, 2025, 45(3): 883-890.

Huahua WANG, Zijian FAN, Ze LIU. Image adversarial example generation method based on multi-space probability enhancement[J]. Journal of Computer Applications, 2025, 45(3): 883-890.

图/表 10

参考文献 33

1	KHAN A I， AL-HABSI S. Machine learning in computer vision［J］. Procedia Computer Science， 2020， 167： 1444-1451.
2	THISANKE H， DESHAN C， CHAMITH K， et al. Semantic segmentation using Vision Transformers： a survey［J］. Engineering Applications of Artificial Intelligence， 2023， 126（Pt A）： No.106669.
3	WU B， YUAN S， LI P， et al. Radar emitter signal recognition based on one-dimensional convolutional neural network with attention mechanism［J］. Sensors， 2020， 20（21）： No.6350.
4	CHEN L， LIN S， LU X， et al. Deep neural network based vehicle and pedestrian detection for autonomous driving： a survey［J］. IEEE Transactions on Intelligent Transportation Systems， 2021， 22（6）： 3234-3246.
5	SADAK F， SAADAT M， HAJIYAVAND A M. Real-time deep learning-based image recognition for applications in automated positioning and injection of biological cells［J］. Computers in Biology and Medicine， 2020， 125： No.103976.
6	ZHANG J， LI C. Adversarial examples： opportunities and challenges［J］. IEEE Transactions on Neural Networks and Learning Systems， 2020， 31（7）： 2578-2593.
7	魏佳璇，杜世康，于志轩，等. 图像分类中的白盒对抗攻击技术综述［J］. 计算机应用， 2022， 42（9）： 2732-2741.
	WEI J X， DU S K， YU Z X， et al. Review of white-box adversarial attack technologies in image classification［J］. Journal of Computer Applications， 2022， 42（9）： 2732-2741.
8	GOODFELLOW I J， SHLENS J， SZEGEDY C. Explaining and harnessing adversarial examples［EB/OL］. ［2024-04-10］. .
9	KURAKIN A， GOODFELLOW I J， BENGIO S. Adversarial examples in the physical world［EB/OL］. ［2024-04-10］. .
10	DONG Y， LIAO F， PANG T， et al. Boosting adversarial attacks with momentum［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 9185-9193.
11	XIE C， ZHANG Z， ZHOU Y， et al. Improving transferability of adversarial examples with input diversity［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 2725-2734.
12	LIU Y， CHEN X， LIU C， et al. Delving into transferable adversarial examples and black-box attacks［EB/OL］. ［2024-04-10］. .
13	SU J， VARGAS D V， SAKURAI K. One pixel attack for fooling deep neural networks［J］. IEEE Transactions on Evolutionary Computation， 2019， 23（5）： 828-841.
14	GU J， JIA X， DE JORGE P， et al. A survey on transferability of adversarial examples across deep neural networks［EB/OL］. ［2024-04-22］. .
15	RUSSAKOVSKY O， DENG J， SU H， et al. ImageNet large scale visual recognition challenge［J］. International Journal of Computer Vision， 2015， 115（3）： 211-252.
16	BIGGIO B， CORONA I， MAIORCA D， et al. Evasion attacks against machine learning at test time［C］// Proceedings of the 2013 Joint European Conference on Machine Learning and Knowledge Discovery in Databases， LNCS 8190. Berlin： Springer， 2013： 387-402.
17	SZEGEDY C， ZAREMBA W， SUTSKEVER I， et al. Intriguing properties of neural networks［EB/OL］. ［2024-05-14］. .
18	DONG Y， PANG T， SU H， et al. Evading defenses to transferable adversarial examples by translation-invariant attacks［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4307-4316.
19	PAPERNOT N， McDANIEL P， JHA S， et al. The limitations of deep learning in adversarial settings［C］// Proceedings of the 2016 IEEE European Symposium on Security and Privacy. Piscataway： IEEE， 2016： 372-387.
20	KURAKIN A， GOODFELLOW I J， BENGIO S. Adversarial machine learning at scale［EB/OL］. ［2024-04-24］..
21	TRAMÈR F， KURAKIN A， PAPERNOT N， et al. Ensemble adversarial training： attacks and defenses［EB/OL］. ［2024-04-23］..
22	XIE C， WANG J， ZHANG Z， et al. Mitigating adversarial effects through randomization［EB/OL］. ［2024-04-24］..
23	GUO C， RANA M， CISSE M， et al. Countering adversarial images using input transformations［EB/OL］. ［2024-06-09］..
24	PRAKASH A， MORAN N， GARBER S， et al. Deflecting adversarial attacks with pixel deflection［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8571-8580.
25	MENG D， CHEN H. MagNet： a two-pronged defense against adversarial examples［C］// Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2017： 135-147.
26	SAMANGOUEI P， KABKAB M， CHELLAPPA R. Defense-GAN： protecting classifiers against adversarial attacks using generative models［EB/OL］. ［2024-04-11］..
27	NASEER M， KHAN S， HAYAT M， et al. A self-supervised approach for adversarial robustness［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 259-268.
28	LIN J， SONG C， HE K， et al. Nesterov accelerated gradient and scale invariance for adversarial attacks［EB/OL］. ［2024-03-10］..
29	HE K， ZHANG X， REN S， et al. Identity mappings in deep residual networks［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9908. Cham： Springer， 2016： 630-645.
30	SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2818-2826.
31	SZEGEDY C， IOFFE S， VANHOUCKE V， et al. Inception-v4， inception-ResNet and the impact of residual connections on learning［C］// Proceedings of the 31st AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2017： 4278-4284.
32	KURAKIN A， GOODFELLOW I， BENGIO S， et al. Adversarial attacks and defences competition［C］// Proceedings of the NIPS’ 17 Competition： Building Intelligent Systems， SSCML. Cham： Springer， 2018： 195-231.
33	CHOLLET F. Xception： deep learning with depthwise separable convolutions［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1800-1807.

对抗样本生成模型	对抗样本生成方法	被攻击模型
对抗样本生成模型	对抗样本生成方法	Res-101	Xce	Inc-v3	Inc-v4	Res-152	IncRes-v2	Inc-v3_adv
Res-101	IFGSM	97.75	47.80	37.50	40.57	56.73	34.06	39.65
	DI²FGSM	99.66	62.14	57.16	58.68	80.46	48.31	41.39
	MIFGSM	100.00	67.70	62.38	66.38	96.80	56.16	42.86
	MDI²FGSM	100.00	73.39	70.27	73.20	97.35	59.90	44.33
	MPE-MIFGSM	100.00	77.39	76.09	77.17	95.70	66.91	48.46
Xce	IFGSM	28.88	94.19	29.25	38.83	26.27	34.30	38.72
	DI²FGSM	28.65	91.60	35.80	43.80	30.13	37.44	41.12
	MIFGSM	43.03	99.61	43.69	62.90	37.75	52.05	42.19
	MDI²FGSM	46.40	99.10	54.00	71.34	43.47	55.51	42.58
	MPE-MIFGSM	48.54	97.93	58.50	71.59	47.24	60.51	45.66
Inc-v3	IFGSM	35.84	49.10	88.47	45.16	33.11	40.96	40.99
	DI²FGSM	40.22	53.10	88.59	52.48	35.21	43.96	42.99
	MIFGSM	61.46	73.90	97.45	72.08	57.40	67.27	43.93
	MDI²FGSM	61.69	73.51	96.24	75.56	58.50	69.81	45.14
	MPE-MIFGSM	63.15	74.55	96.36	75.81	61.15	72.10	47.40
Inc-v4	IFGSM	27.42	47.42	32.40	90.57	26.82	34.42	39.52
	DI²FGSM	28.99	49.35	35.07	89.83	28.04	38.77	40.05
	MIFGSM	43.48	67.57	51.33	96.90	39.29	53.74	39.39
	MDI²FGSM	44.61	69.64	57.89	96.15	40.95	56.28	42.32
	MPE-MIFGSM	46.97	73.39	62.38	96.02	47.35	60.99	44.33

对抗样本生成模型	对抗样本生成方法	被攻击模型
对抗样本生成模型	对抗样本生成方法	Res-101	Xce	Inc-v3	Inc-v4	Res-152	IncRes-v2	Inc-v3_adv
Res-101	IFGSM	97.75	47.80	37.50	40.57	56.73	34.06	39.65
	DI²FGSM	99.66	62.14	57.16	58.68	80.46	48.31	41.39
	MIFGSM	100.00	67.70	62.38	66.38	96.80	56.16	42.86
	MDI²FGSM	100.00	73.39	70.27	73.20	97.35	59.90	44.33
	MPE-MIFGSM	100.00	77.39	76.09	77.17	95.70	66.91	48.46
Xce	IFGSM	28.88	94.19	29.25	38.83	26.27	34.30	38.72
	DI²FGSM	28.65	91.60	35.80	43.80	30.13	37.44	41.12
	MIFGSM	43.03	99.61	43.69	62.90	37.75	52.05	42.19
	MDI²FGSM	46.40	99.10	54.00	71.34	43.47	55.51	42.58
	MPE-MIFGSM	48.54	97.93	58.50	71.59	47.24	60.51	45.66
Inc-v3	IFGSM	35.84	49.10	88.47	45.16	33.11	40.96	40.99
	DI²FGSM	40.22	53.10	88.59	52.48	35.21	43.96	42.99
	MIFGSM	61.46	73.90	97.45	72.08	57.40	67.27	43.93
	MDI²FGSM	61.69	73.51	96.24	75.56	58.50	69.81	45.14
	MPE-MIFGSM	63.15	74.55	96.36	75.81	61.15	72.10	47.40
Inc-v4	IFGSM	27.42	47.42	32.40	90.57	26.82	34.42	39.52
	DI²FGSM	28.99	49.35	35.07	89.83	28.04	38.77	40.05
	MIFGSM	43.48	67.57	51.33	96.90	39.29	53.74	39.39
	MDI²FGSM	44.61	69.64	57.89	96.15	40.95	56.28	42.32
	MPE-MIFGSM	46.97	73.39	62.38	96.02	47.35	60.99	44.33

对抗样本生成方法	Res-101*	Xce*	Inc-v3*	Inc-v4*	Res-152	IncRes-v2	Inc-v3_adv	黑盒攻击成功率平均值
IFGSM	84.49	89.66	88.59	82.77	56.51	54.23	47.26	52.67
DI²FGSM	80.00	90.07	89.70	86.77	59.60	62.56	50.73	57.63
MIFGSM	99.33	99.10	99.01	99.15	86.49	78.41	53.94	72.95
MDI²FGSM	98.54	98.71	98.51	98.42	90.58	84.32	54.08	76.32
MPE-MIFGSM	97.87	98.58	98.39	98.18	94.81	92.87	56.48	81.39

对抗样本生成方法	Res-101*	Xce*	Inc-v3*	Inc-v4*	Res-152	IncRes-v2	Inc-v3_adv	黑盒攻击成功率平均值
IFGSM	84.49	89.66	88.59	82.77	56.51	54.23	47.26	52.67
DI²FGSM	80.00	90.07	89.70	86.77	59.60	62.56	50.73	57.63
MIFGSM	99.33	99.10	99.01	99.15	86.49	78.41	53.94	72.95
MDI²FGSM	98.54	98.71	98.51	98.42	90.58	84.32	54.08	76.32
MPE-MIFGSM	97.87	98.58	98.39	98.18	94.81	92.87	56.48	81.39

对抗样本生成方法	Res-101*	Xce*	Inc-v3*	Inc-v4*	Res-152	IncRes-v2	Inc-v3_adv	黑盒攻击成功率平均值
CP-MIFGSM	97.53	98.18	98.39	98.71	92.05	90.46	55.94	79.48
CC-MIFGSM	98.65	98.67	98.39	98.58	93.05	87.80	49.67	76.84
MPE-MIFGSM	97.87	98.58	98.39	98.18	94.81	92.87	56.48	81.39

基于多空间概率增强的图像对抗样本生成方法

Image adversarial example generation method based on multi-space probability enhancement

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 33

相关文章 15

编辑推荐

Metrics

[1]	杨晟, 李岩. 面向目标检测的对比知识蒸馏方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 354-361.
[2]	杨本臣, 李浩然, 金海波. 级联融合与增强重建的多聚焦图像融合网络[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 594-600.
[3]	石锐, 李勇, 朱延晗. 基于特征梯度均值化的调制信号对抗样本攻击算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2521-2527.
[4]	张郅, 李欣, 叶乃夫, 胡凯茜. 基于暗知识保护的模型窃取防御技术DKP[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2080-2086.
[5]	吴锦富, 柳毅. 基于随机噪声和自适应步长的快速对抗训练方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1807-1815.
[6]	王美, 苏雪松, 刘佳, 殷若南, 黄珊. 时频域多尺度交叉注意力融合的时间序列分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1842-1847.
[7]	肖斌, 杨模, 汪敏, 秦光源, 李欢. 独立性视角下的相频融合领域泛化方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1002-1009.
[8]	张瑜, 昌燕, 张仕斌. 基于量子局部内在维度的对抗样本检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 490-495.
[9]	颜梦玫, 杨冬平. 深度神经网络平均场理论综述[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 331-343.
[10]	宋逸飞, 柳毅. 基于数据增强和标签噪声的快速对抗训练方法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3798-3807.
[11]	柴汶泽, 范菁, 孙书魁, 梁一鸣, 刘竟锋. 深度度量学习综述[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 2995-3010.
[12]	陈彤, 位纪伟, 何仕远, 宋井宽, 杨阳. 基于自适应攻击强度的对抗训练方法[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 94-100.
[13]	申云飞, 申飞, 李芳, 张俊. 基于张量虚拟机的深度神经网络模型加速方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2836-2844.
[14]	赵旭剑, 李杭霖. 基于混合机制的深度神经网络压缩算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2686-2691.
[15]	李淦, 牛洺第, 陈路, 杨静, 闫涛, 陈斌. 融合视觉特征增强机制的机器人弱光环境抓取检测[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2564-2571.