基于多尺度注意力的生成式信息隐藏算法

doi:10.11772/j.issn.1001-9081.2023070919

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (7): 2102-2109.DOI: 10.11772/j.issn.1001-9081.2023070919

基于多尺度注意力的生成式信息隐藏算法

刘丽(), 侯海金, 王安红, 张涛

太原科技大学电子信息工程学院，太原 030024

收稿日期:2023-07-11 修回日期:2023-09-14 接受日期:2023-09-19 发布日期:2023-10-26 出版日期:2024-07-10
通讯作者: 刘丽
作者简介:侯海金（1997—），男，山西晋中人，硕士研究生，主要研究方向：信息隐藏；
王安红（1972—），女，山西运城人，教授，博士，CCF会员，主要研究方向：图像/视频编码、信息安全；
张涛（1999—），男，山西吕梁人，硕士研究生，主要研究方向：深度学习、信息隐藏。
第一联系人：刘丽（1978—），女，宁夏吴忠人，副教授，博士，主要研究方向：信息隐藏；
基金资助:
国家自然科学基金资助项目(62072325);山西省基础研究计划项目(202103021224272);太原科技大学科研启动基金资助项目(20212039)

Generative data hiding algorithm based on multi-scale attention

Li LIU(), Haijin HOU, Anhong WANG, Tao ZHANG

School of Electronic Information and Engineering，Taiyuan University of Science and Technology，Taiyuan Shanxi 030024，China

Received:2023-07-11 Revised:2023-09-14 Accepted:2023-09-19 Online:2023-10-26 Published:2024-07-10
Contact: Li LIU
About author:HOU Haijin， born in 1997. M. S. candidate. His research interests include information hiding.
WANG Anhong， born in 1972. Ph. D.， professor. Her research interests include image/video coding， information security.
ZHANG Tao， born in 1999. M. S. candidate. His research interests include deep learning， information hiding.
First author contact:LIU Li， born in 1978. Ph. D.， associate professor. Her research interests include information hiding.
Supported by:
National Natural Science Foundation of China(62072325);Fundamental Research Program of Shanxi Province(202103021224272);Scientific Research Initiation Fund of Taiyuan University of Science and Technology(20212039)

摘要/Abstract

摘要：

针对现有生成式信息隐藏算法嵌入容量低且提取的秘密图像视觉质量欠佳的问题，提出基于多尺度注意力的生成式信息隐藏算法。首先，设计基于多尺度注意力的双编码-单解码生成器，载体图像与秘密图像的特征在编码端分两个支路独立提取，在解码端通过多尺度注意力模块进行融合，并利用跳跃连接为解码端提供不同尺度的细节特征，从而获得高质量的载密图像。其次，在U-Net结构的提取器中引入自注意力模块，以弱化载体图像特征、增强秘密图像深层特征，并利用跳跃连接弥补秘密图像细节特征，提高秘密信息提取的准确率；同时，多尺度判决器与生成器的对抗训练可以有效提升载密图像的视觉质量。实验结果表明，所提算法在嵌入容量为24 bpp的情况下，生成的载密图像峰值信噪比（PSNR）和结构相似性（SSIM）平均可达到40.93 dB和0.988 3，且提取的秘密图像PSNR和SSIM平均可达到30.47 dB和0.954 3。

关键词: 信息隐藏, 注意力机制, 多尺度, 编码-解码结构, 生成对抗网络

Abstract:

Aiming to the problems of low embedding capacity and poor visual quality of the extracted secret images in existing generative data hiding algorithms， a generative data hiding algorithm based on multi-scale attention was proposed. First， a generator with dual encode-single decode based on multi-scale attention was designed. The features of the cover image and secret image were extracted independently at the encoding end in two branches， and fused at the decoding end by a multi-scale attention module. Skip connections were used to provide different scales of detail features， thereby ensuring high-quality of the stego-image. Second， self-attention module was introduced into the extractor of the U-Net structure to weaken the deep features of the cover image and enhance the deep features of the secret image. The skip connections were used to compensate for the detail features of the secret image， so as to improve the accuracy of the extracted secret data. At the same time， the adversarial training of the multi-scale discriminator and generator could effectively improve the visual quality of the stego-image. Experimental results show that the proposed algorithm can achieve an average Peak Signal-to-Noise Ratio （PSNR） and Structure Similarity Index Measure （SSIM） of 40.93 dB and 0.988 3 for the generated stego-images， and an average PSNR and SSIM of 30.47 dB and 0.954 3 for the extracted secret images under the embedding capacity of 24 bpp.

Key words: data hiding, attention mechanism, multi-scale, encode-decode structure, Generative Adversarial Network (GAN)

中图分类号:

TP309.7

刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 计算机应用, 2024, 44(7): 2102-2109.

Li LIU, Haijin HOU, Anhong WANG, Tao ZHANG. Generative data hiding algorithm based on multi-scale attention[J]. Journal of Computer Applications, 2024, 44(7): 2102-2109.

图/表 14

图1 GDH-MSA算法整体框架

Fig. 1 Overall framework of GDH-MSA algorithm

图2 生成器模型结构

Fig. 2 Model structure of generator

图3 提取器模型结构

Fig. 3 Model structure of extractor

表1 提取器参数列表

Tab. 1 Parameter list of extractor

层号	输出大小	卷积核大小	操作	层号	输出大小	卷积核大小	操作
1	256×256×3	—	—	8	16×16×512	4×4	Self Atten_concat_Deconv_BN_LeakyReLU
2	256×256×64	5×5	Conv_BN_LeakyReLU	9	32×32×512	4×4	Self Atten_concat_Deconv_BN_LeakyReLU
3	128×128×128	4×4	Conv_BN_LeakyReLU	10	64×64×256	4×4	Self Atten_concat_Deconv_BN_LeakyReLU
4	64×64×256	4×4	Conv_BN_LeakyReLU	11	128×128×128	4×4	concat_Deconv_BN_LeakyReLU
5	32×32×512	4×4	Conv_BN_LeakyReLU	12	256×256×64	4×4	concat_Deconv_BN_LeakyReLU
6	16×16×512	4×4	Conv_BN_LeakyReLU	13	256×256×3	5×5	Deconv_Sigmoid
7	8×8×512	4×4	Conv_BN_LeakyReLU

图4 多尺度判决器结构

Fig. 4 Structure of multi-scale discriminator

图5 载体图像与载密图像效果对比

Fig. 5 Effect comparison of cover images and stego-images

图6 秘密图像与提取的秘密图像效果对比

Fig. 6 Effect comparison of secret images and extracted secret images

表2 在COCO数据集下不同算法图像隐藏的效果对比

Tab. 2 Comparison of image hiding effects using different algorithms in COCO dataset

算法	载体图像/载密图像
算法	PSNR/dB	SSIM
Yu算法^［23］	33.50	0.964 5
Ying算法^［25］	33.94	0.951 7
HiDDeN算法	37.24	0.979 1
本文算法	40.93	0.988 3

图7 Yu算法［23］和本文算法隐藏性能比较

Fig. 7 Comparison of hiding performance betwween Yu’s algorithm［23］ and proposed algorithm

图8 Yu算法［23］和本文算法提取性能比较

Fig. 8 Comparison of extraction performance betwween Yu’s algorithm［23］ and proposed algorithm

表3 消融实验对载密图像的影响

Tab. 3 Effects of ablation experiments on stego-images

网络结构	载体图像/载密图像
网络结构	PSNR/dB	SSIM	MAE	RMSE
Base	35.75	0.985 4	0.013	0.016
Base+MSA	37.93	0.989 0	0.010	0.013
Base+MSA+A	40.93	0.998 3	0.007	0.009

表4 消融实验对提取的秘密图像的影响

Tab. 4 Effects of ablation experiments on extracted secret images

网络结构	秘密图像/提取的秘密图像
网络结构	PSNR/dB	SSIM	MAE	RMSE
Base	18.80	0.803 7	0.102	0.126
Base+MSA	26.60	0.944 1	0.045	0.056
Base+MSA+A	30.47	0.954 3	0.035	0.044

图9 不同场景下本文算法的泛化能力

Fig. 9 Generalization performance of proposed algorithm in different scenarios

图10 本文算法在4个数据集下的泛化性

Fig. 10 Generalization of proposed algorithm on four datasets

参考文献 29

1	武晓帅，徐明，乔通，等.图像空域可逆信息隐藏研究进展［J］.中国图象图形学报， 2022， 27（1）： 125-149.
	WU X S， XU M， QIAO T， et al. Review of reversible data hiding based on the spatial domain of images ［J］. Journal of Image and Graphics， 2022， 27（1）： 125-149.
2	付章杰，李恩露，程旭，等.基于深度学习的图像隐写研究进展［J］.计算机研究与发展， 2021， 58（3）： 548-568.
	FU Z J， LI E L， CHENG X， et al. Recent advances in image steganography based on deep learning ［J］. Journal of Computer Research and Development， 2021， 58（3）： 548-568.
3	GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets ［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.
4	XIAO M， LI X， MA B， et al. Efficient reversible data hiding for jpeg images with multiple histograms modification ［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2021， 31（7）： 2535-2546.
5	HE W， CAI Z， WANG Y. High-fidelity reversible image watermarking based on effective prediction error-pairs modification ［J］. IEEE Transactions on Multimedia， 2021， 23： 52-63.
6	YU C， ZHANG X， WANG D， et al. Reversible data hiding with pairwise PEE and 2D-PEH decomposition ［J］. Signal Processing， 2022， 196： 108527.
7	KOUHI A， SEDAAGHI M H. Prediction error distribution with dynamic asymmetry for reversible data hiding ［J］. Expert Systems with Applications， 2021， 184： 115475.
8	TANG W， TAN S， LI B， et al. Automatic steganographic distortion learning using a generative adversarial network ［J］. IEEE Signal Processing Letters， 2017， 24（10）： 1547-1551.
9	VOLKHONSKIY D， BORISENKO B， BURNAEV E. Generative adversarial networks for image steganography ［EB/OL］. ［2022-06-30］. .
10	王耀杰，钮可，杨晓元.基于生成对抗网络的信息隐藏方案［J］.计算机应用， 2018， 38（10）： 2923-2928.
	WANG Y J， NIU K， YANG X Y. Information hiding scheme based on generative adversarial network ［J］. Journal of Computer Applications， 2018， 38（10）： 2923-2928.
11	ZHU J， KAPLAN R， JOHNSON J， et al. HiDDeN： hiding data with deep networks ［C］// Proceedings of the 15th European Conference on Computer Vision. Cham： Springer， 2018： 682-697.
12	ZHANG H， WANG H， CAO Y， et al. Robust data hiding using inverse gradient attention ［EB/OL］. ［2023-07-01］. .
13	TAN J， LIAO X， LIU J， et al. Channel attention image steganography with generative adversarial networks ［J］. IEEE Transactions on Network Science and Engineering， 2022， 9（2）： 888-903.
14	WEI P， LI S， ZHANG X， et al. Generative steganography network ［C］// Proceedings of the 30th ACM International Conference on Multimedia. New York： ACM， 2022： 1621-1629.
15	LIU X， MA Z， MA J， et al. Image disentanglement autoencoder for steganography without embedding ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition， Piscataway： IEEE， 2022： 2293-2302.
16	ZHOU Z， DONG X， MENG R， et al. Generative steganography via auto-generation of semantic object contours ［J］. IEEE Transactions on Information Forensics and Security， 2023， 18： 2751-2765.
17	BALUJA S. Hiding image in plain sight： deep steganography ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 2066-2076.
18	ZHANG R， DONG S， LIU J. Invisible steganography via generative adversarial networks ［J］. Multimedia Tools and Applications， 2019， 78（7）： 8559-8575.
19	FU Z， WANG F， CHENG X. The secure steganography for hiding images via GAN ［J］. EURASIP Journal on Image and Video Processing， 2020， 2020： No. 46.
20	CHEN H， SONG L， QIAN Z， et al. Hiding images in deep probabilistic models ［C］// Proceedings of the 36th International Conference on Neural Information Processing Systems. New York： ACM， 2022： 36776-36788.
21	MENG L， JIANG X， ZHANG Z， et al. A robust coverless image steganography based on an end-to-end hash generation model ［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2023， 33（7）： 3542-3558.
22	LI Q， WANG X， WANG X， et al. An encrypted coverless information hiding method based on generative models ［J］. Information Sciences， 2021， 553： 19-30.
23	YU C. Attention based data hiding with generative adversarial networks ［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2020： 1120-1128.
24	ZHU J-Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2242-2251.
25	YING Q， ZHOU H， ZENG X， et al. Hiding images into images with real-world robustness ［C］// Proceedings of the 2022 IEEE International Conference on Image Processing. Piscataway： IEEE， 2022： 111-115.
26	LI B， TAN S， WANG M， et al. Investigation on cost assignment in spatial image steganography ［J］. IEEE Transactions on Information Forensics and Security， 2014， 9（8）： 1264-1277.
27	BROCK A， DONAHUE J， SIMONYAN K. Large scale GAN training for high fidelity natural image synthesis ［EB/OL］. ［2023-07-01］. .
28	ASHWATH B. Kaggle ［DB/OL］. ［2022-06-30］. .
29	LIN T-Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： common objects in context ［C］// Proceedings of the 13th European Conference on Computer Vision. Cham： Springer， 2014： 740-755.

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	戎妍, 刘嘉雯, 李馨蕾. 面向学生课堂情感计算的自适应混合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2919-2930.
[3]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[4]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[5]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[6]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[7]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[8]	陈彤, 杨丰玉, 熊宇, 严荭, 邱福星. 基于多尺度频率通道注意力融合的声纹库构建方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2407-2413.
[9]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[10]	李晨倩, 刘俊. 基于半监督和多尺度级联注意力的超声颈动脉斑块分割方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2604-2610.
[11]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[12]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[13]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[14]	魏文亮, 王阳萍, 岳彪, 王安政, 张哲. 基于光照权重分配和注意力的红外与可见光图像融合深度学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2183-2191.
[15]	李伟, 张晓蓉, 陈鹏, 李清, 张长青. 基于正态逆伽马分布的多尺度融合人群计数算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2243-2249.

基于多尺度注意力的生成式信息隐藏算法

Generative data hiding algorithm based on multi-scale attention

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 29

相关文章 15

编辑推荐

Metrics