基于LSTM和可分离自注意力机制的伪随机数生成器

doi:10.11772/j.issn.1001-9081.2024091345

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (9): 2893-2901.DOI: 10.11772/j.issn.1001-9081.2024091345

• 网络空间安全 • 上一篇

基于LSTM和可分离自注意力机制的伪随机数生成器

邓伊琳, 余发江()

空天信息安全与可信计算教育部重点实验室，武汉大学国家网络安全学院，武汉 430072

收稿日期:2024-09-23 修回日期:2024-11-19 接受日期:2024-11-22 发布日期:2024-12-03 出版日期:2025-09-10
通讯作者: 余发江
作者简介:邓伊琳（2001—），女，江西峡江人，硕士研究生，主要研究方向：伪随机数生成、深度学习、信息安全
基金资助:
国家自然科学基金资助项目(61772384)

Pseudo random number generator based on LSTM and separable self-attention mechanism

Yilin DENG, Fajiang YU()

Key Laboratory of Aerospace Information Security and Trusted Computing，Ministry of Education，School of Cyber Science and Engineering，Wuhan University，Wuhan Hubei 430072，China

Received:2024-09-23 Revised:2024-11-19 Accepted:2024-11-22 Online:2024-12-03 Published:2025-09-10
Contact: Fajiang YU
About author:DENG Yilin， born in 2001， M. S. candidate. Her research interests include pseudo random number generation， deep learning， information security.
Supported by:
National Natural Science Foundation of China(61772384)

摘要/Abstract

摘要：

针对生成对抗网络（GAN）生成伪随机数的质量不高和生成速度较慢的问题，提出一种基于长短时记忆（LSTM）网络和可分离自注意力（SA）机制的模型LSA-WGAN-GP（Wasserstein GAN with Gradient Penalty based on LSTM and separable SA）。该模型通过将数据从一维扩展为二维，改进数据的表示方式，从而提取更深层次的特征。并且，创新性地提出LSA（LSTM and separable Self-Attention）模块，以融合LSTM和SA机制，从而显著提升伪随机数的不可回溯性和不可预测性。此外，通过精简网络结构有效减小模型参数量，并提高生成速度。实验结果表明，LSA-WGAN-GP生成的伪随机数可以100%通过NIST（National Institute of Standards and Technology）测试；与WGAN-GP（Wasserstein GAN with Gradient Penalty）和GAN相比，LSA-WGAN-GP在频率和全局通用测试项的P值和通过率上均有提升；在伪随机数生成速度上，LSA-WGAN-GP比WGAN-GP和GAN分别提升了164%和976%。可见，LSA-WGAN-GP在保证生成的伪随机数质量的同时，减少了模型的参数量，并提高了生成伪随机数的速度。

关键词: 伪随机数生成, 生成对抗网络, 长短时记忆网络, 可分离自注意力机制, 人工智能

Abstract:

To address the issues of poor quality and slow generation of pseudo random numbers generated by Generative Adversarial Network （GAN）， a model LSA-WGAN-GP （Wasserstein GAN with Gradient Penalty based on LSTM and separable SA） based on Long Short-Term Memory （LSTM） and separable Self-Attention （SA） mechanism was proposed. In the model， the data were expanded from one-dimensional space to two-dimensional space， the representation method of data was improved， thereby enabling extraction of deeper-level features. And an innovative LSA （LSTM and separable Self-Attention） module was introduced， so as to integrate LSTM and SA mechanism to enhance irreversibility and unpredictability of the generated pseudo random numbers significantly. Additionally， the network structure was simplified， thereby reducing the model’s parameters effectively and improving the generation speed. Experimental results demonstrate that pseudo random numbers generated by LSA-WGAN-GP pass the National Institute of Standards and Technology （NIST） tests with a 100% success rate； compared to WGAN-GP （Wasserstein GAN with Gradient Penalty） and GAN， LSA-WGAN-GP improves P-values and pass rates in the frequency and universal test items； in terms of pseudo random number generation speed， LSA-WGAN-GP generates pseudo random numbers 164% and 975% faster than WGAN-GP and GAN， respectively. It can be seen that the proposed model ensures quality of the generated pseudo random number with reduced parameters and improved pseudo random number generation speed.

Key words: pseudo random number generation, Generative Adversarial Network (GAN), Long Short-Term Memory (LSTM) network, separable Self-Attention (SA) mechanism, Artificial Intelligence (AI)

中图分类号:

TP309

邓伊琳, 余发江. 基于LSTM和可分离自注意力机制的伪随机数生成器[J]. 计算机应用, 2025, 45(9): 2893-2901.

Yilin DENG, Fajiang YU. Pseudo random number generator based on LSTM and separable self-attention mechanism[J]. Journal of Computer Applications, 2025, 45(9): 2893-2901.

图/表 10

图1 LSA-WGAN-GP的结构

Fig. 1 Structure of LSA-WGAN-GP

图2 数据维度转换

Fig. 2 Data dimension conversion

图3 生成器的结构

Fig. 3 Structure of generator

图4 LSA的结构

Fig. 4 Structure of LSA

图5 判别器的结构

Fig. 5 Structure of discriminator

表1 对比实验中的NIST测试结果

Tab. 1 NIST test results in comparison experiments

测试项目	LSA-WGAN-GP			WGAN-GP			GAN
测试项目	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$
频率	0.880	98.8	$A$	0.160	98.3	$A$	0.730	98.7	$A$
块内频率	0.793	99.0	$A$	0.023	99.7	$A$	0.277	99.1	$A$
游程	0.264	99.2	$A$	0.902	98.7	$A$	0.679	99.0	$A$
块内最长游程	0.053	98.5	$A$	0.347	98.8	$A$	0.062	98.9	$A$
二元矩阵秩	0.454	99.2	$A$	0.143	98.5	$A$	0.589	98.9	$A$
离散傅里叶变换	0.090	99.1	$A$	0.053	98.9	$A$	0.387	98.1	$A$
非重叠模板匹配	0.377	98.3	$A$	0.434	98.2	$A$	0.190	98.2	$A$
重叠模板匹配	0.736	98.3	$A$	0.656	98.9	$A$	0.822	98.8	$A$
全局通用	0.787	99.3	$A$	0.262	98.9	$A$	0.746	99.0	$A$
线性复杂度	0.504	99.1	$A$	0.730	98.9	$A$	0.428	99.0	$A$
串行	0.764	98.9	$A$	0.158	99.1	$A$	0.062	99.0	$A$
近似熵	0.929	99.3	$A$	0.398	98.9	$A$	0.298	99.4	$A$
累积和	0.103	98.3	$A$	0.150	98.2	$A$	0.080	98.7	$A$
随机偏移	0.440	97.9	$A$	0.418	98.1	$A$	0.215	98.0	$A$
随机偏移变量	0.431	98.4	$A$	0.029	98.3	$A$	0.017	98.9	$A$
15项测试通过率	15/15			15/15			15/15
通过/不通过	通过			通过			通过

表1 对比实验中的NIST测试结果

Tab. 1 NIST test results in comparison experiments

测试项目	LSA-WGAN-GP			WGAN-GP			GAN
测试项目	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$
频率	0.880	98.8	$A$	0.160	98.3	$A$	0.730	98.7	$A$
块内频率	0.793	99.0	$A$	0.023	99.7	$A$	0.277	99.1	$A$
游程	0.264	99.2	$A$	0.902	98.7	$A$	0.679	99.0	$A$
块内最长游程	0.053	98.5	$A$	0.347	98.8	$A$	0.062	98.9	$A$
二元矩阵秩	0.454	99.2	$A$	0.143	98.5	$A$	0.589	98.9	$A$
离散傅里叶变换	0.090	99.1	$A$	0.053	98.9	$A$	0.387	98.1	$A$
非重叠模板匹配	0.377	98.3	$A$	0.434	98.2	$A$	0.190	98.2	$A$
重叠模板匹配	0.736	98.3	$A$	0.656	98.9	$A$	0.822	98.8	$A$
全局通用	0.787	99.3	$A$	0.262	98.9	$A$	0.746	99.0	$A$
线性复杂度	0.504	99.1	$A$	0.730	98.9	$A$	0.428	99.0	$A$
串行	0.764	98.9	$A$	0.158	99.1	$A$	0.062	99.0	$A$
近似熵	0.929	99.3	$A$	0.398	98.9	$A$	0.298	99.4	$A$
累积和	0.103	98.3	$A$	0.150	98.2	$A$	0.080	98.7	$A$
随机偏移	0.440	97.9	$A$	0.418	98.1	$A$	0.215	98.0	$A$
随机偏移变量	0.431	98.4	$A$	0.029	98.3	$A$	0.017	98.9	$A$
15项测试通过率	15/15			15/15			15/15
通过/不通过	通过			通过			通过

表2 对比实验中不同模型的生成速度和参数量

Tab. 2 Generation speeds and parameters of different models in comparison experiments

模型	网络结构	参数	参数量	总参数量	生成速度/（Mb·s^-1）
LSA-WGAN-GP	LSA模块	（3，3）	112	396	14.306
	Conv1d_1	（3，4）	40
	Conv1d_2	（4，8）	104
	Conv1d_3	（8，4）	100
	Conv1d_4	（4，3）	40
WGAN-GP	Linear_1	（36，256）	9 472	1 331 748	5.423
	Linear_2	（256，512）	131 584
	Linear_3	（512，1 024）	525 312
	Linear_4	（1 024，512）	524 800
	Linear_5	（512，256）	131 328
	Linear_6	（256，36）	9 252
GAN	Linear_1	（32，100）	3 300	206 556	1.330
	Linear_2	（100，200）	20 200
	Linear_3	（200，400）	80 400
	Linear_4	（400，256）	102 656

图6 消融实验中的生成器损失变化对比

Fig. 6 Comparison of generator loss changes in ablation experiments

表3 消融实验中的NIST测试结果和生成速度对比

Tab. 3 Comparison of NIST test results and generation speeds in ablation experiments

测试项目	Base			Base+L			Base+SA			Base+LSA
测试项目	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$
频率	0.000	88.5	$R$	0.000	97.6	$R$	0.000	95.5	$R$	0.880	98.8	$A$
块内频率	0.000	96.4	$R$	0.055	99.3	$A$	0.000	98.4	$R$	0.793	99.0	$A$
游程	0.000	91.4	$R$	0.943	99.5	$A$	0.479	98.2	$A$	0.264	99.2	$A$
块内最长游程	0.975	99.0	$A$	0.155	98.6	$A$	0.677	98.6	$A$	0.053	98.5	$A$
二元矩阵秩	0.728	99.3	$A$	0.538	98.8	$A$	0.689	98.8	$A$	0.454	99.2	$A$
离散傅里叶变换	0.117	98.9	$A$	0.062	99.1	$A$	0.544	99.1	$A$	0.090	99.1	$A$
非重叠模板匹配	0.000	95.9	$R$	0.242	98.4	$A$	0.508	98.2	$A$	0.377	98.3	$A$
重叠模板匹配	0.000	96.6	$R$	0.658	99.0	$A$	0.483	98.9	$A$	0.736	98.3	$A$
全局通用	0.097	99.2	$A$	0.620	98.7	$A$	0.195	98.1	$A$	0.787	99.3	$A$
线性复杂度	0.623	99.1	$A$	0.003	98.8	$A$	0.720	98.4	$A$	0.504	99.1	$A$
串行	0.561	98.5	$A$	0.108	98.8	$A$	0.526	98.8	$A$	0.764	98.9	$A$
近似熵	0.131	98.3	$A$	0.748	99.0	$A$	0.766	99.1	$A$	0.929	99.3	$A$
累积和	0.000	88.4	$R$	0.000	97.6	$R$	0.000	95.8	$R$	0.103	98.3	$A$
随机偏移	0.936	98.2	$A$	0.271	98.3	$A$	0.032	98.4	$A$	0.440	97.9	$A$
随机偏移变量	0.566	98.4	$A$	0.118	97.8	$A$	0.464	98.8	$A$	0.431	98.4	$A$
15项测试通过率	9/15			13/15			12/15			15/15
通过/不通过	不通过			不通过			不通过			通过
总参数量	284			356			324			396
生成速度/（Mb·s^-1）	19.166			16.887			18.422			14.306

表3 消融实验中的NIST测试结果和生成速度对比

Tab. 3 Comparison of NIST test results and generation speeds in ablation experiments

测试项目	Base			Base+L			Base+SA			Base+LSA
测试项目	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$
频率	0.000	88.5	$R$	0.000	97.6	$R$	0.000	95.5	$R$	0.880	98.8	$A$
块内频率	0.000	96.4	$R$	0.055	99.3	$A$	0.000	98.4	$R$	0.793	99.0	$A$
游程	0.000	91.4	$R$	0.943	99.5	$A$	0.479	98.2	$A$	0.264	99.2	$A$
块内最长游程	0.975	99.0	$A$	0.155	98.6	$A$	0.677	98.6	$A$	0.053	98.5	$A$
二元矩阵秩	0.728	99.3	$A$	0.538	98.8	$A$	0.689	98.8	$A$	0.454	99.2	$A$
离散傅里叶变换	0.117	98.9	$A$	0.062	99.1	$A$	0.544	99.1	$A$	0.090	99.1	$A$
非重叠模板匹配	0.000	95.9	$R$	0.242	98.4	$A$	0.508	98.2	$A$	0.377	98.3	$A$
重叠模板匹配	0.000	96.6	$R$	0.658	99.0	$A$	0.483	98.9	$A$	0.736	98.3	$A$
全局通用	0.097	99.2	$A$	0.620	98.7	$A$	0.195	98.1	$A$	0.787	99.3	$A$
线性复杂度	0.623	99.1	$A$	0.003	98.8	$A$	0.720	98.4	$A$	0.504	99.1	$A$
串行	0.561	98.5	$A$	0.108	98.8	$A$	0.526	98.8	$A$	0.764	98.9	$A$
近似熵	0.131	98.3	$A$	0.748	99.0	$A$	0.766	99.1	$A$	0.929	99.3	$A$
累积和	0.000	88.4	$R$	0.000	97.6	$R$	0.000	95.8	$R$	0.103	98.3	$A$
随机偏移	0.936	98.2	$A$	0.271	98.3	$A$	0.032	98.4	$A$	0.440	97.9	$A$
随机偏移变量	0.566	98.4	$A$	0.118	97.8	$A$	0.464	98.8	$A$	0.431	98.4	$A$
15项测试通过率	9/15			13/15			12/15			15/15
通过/不通过	不通过			不通过			不通过			通过
总参数量	284			356			324			396
生成速度/（Mb·s^-1）	19.166			16.887			18.422			14.306

图7 消融实验中的NIST未通过测试项目对比

Fig. 7 Comparison of failed NIST test items in ablation experiments

参考文献 25

[1]	SANGEETHA Y， MAJJI S， SRINAGESH A， et al. Authentication of symmetric cryptosystem using anti-aging controller-based true random number generator ［J］. Applied Nanoscience， 2023， 13（2）： 1055-1064.
[2]	ALEXAN W， ALEXAN N， GABR M. Multiple-layer image encryption utilizing fractional-order chen hyperchaotic map and cryptographically secure PRNGs ［J］. Fractal and Fractional， 2023， 7（4）： No.287.
[3]	刁进，谢飞龙，胡汉平. 基于改进混沌系统的伪随机数发生器［J］. 计算机应用， 2021， 41（S2）：151-158.
	DIAO J， XIE F L， HU H P. Pseudo random number generator based on improved chaotic system ［J］. Journal of Computer Applications， 2021， 41（S2）： 151-158.
[4]	陈东昱，陈华，范丽敏，等. 基于深度学习的随机性检验策略研究［J］. 通信学报， 2023， 44（6）：23-33.
	CHEN D Y， CHEN H， FAN L M， et al. Research on test strategy for randomness based on deep learning ［J］. Journal on Communications， 2023， 44（6）： 23-33.
[5]	JEONG Y S， OH K J， CHO C K， et al. Pseudo-random number generation using LSTMs ［J］. The Journal of Supercomputing， 2020， 76（10）： 8324-8342.
[6]	PASQUALINI L， PARTON M. Pseudo random number generation： a reinforcement learning approach ［J］. Procedia Computer Science， 2020， 170： 1122-1127.
[7]	PASQUALINI L， PARTON M. Pseudo random number generation through reinforcement learning and recurrent neural networks ［J］. Algorithms， 2020， 13（11）： No.307.
[8]	GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks ［J］. Communications of the ACM， 2020， 63（11）： 139-144.
[9]	DE BERNARDI M， KHOUZANI M H R， MALACARIA P. Pseudo-random number generation using generative adversarial networks［C］// Proceedings of the 2018 Joint European Conference on Machine Learning and Knowledge Discovery in Databases Workshops， LNCS 11329. Cham： Springer， 2019： 191-200.
[10]	OAK R， RAHALKAR C， GUJAR D. Poster： using generative adversarial networks for secure pseudorandom number generation［C］// Proceedings of the 2019 ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2019： 2597-2599.
[11]	KIM H， KWON Y， SIM M， et al. Generative adversarial networks-based pseudo-random number generator for embedded processors ［C］// Proceedings of the 2020 Information Security and Cryptology， LNCS 12593. Cham： Springer， 2021： 215-234.
[12]	MAN Z， LI J， DI X， et al. A novel image encryption algorithm based on least squares generative adversarial network random number generator ［J］. Multimedia Tools and Applications， 2021， 80（18）： 27445-27469.
[13]	李锦青，刘泽飞，满振龙. 基于生成对抗网络的密钥生成方法及其在微光图像加密中的应用［J］. 兵工学报， 2022， 43（2）：337-344.
	LI J Q， LIU Z F， MAN Z L. Key generation method based on generative adversarial network and its application in low-light-level image encryption ［J］. Acta Armamentarii， 2022， 43（2）： 337-344.
[14]	OKADA K， ENDO K， YASUOKA K， et al. Learned pseudo-random number generator： WGAN-GP for generating statistically robust random numbers ［J］. PLoS ONE， 2023， 18（6）： No.e0287025.
[15]	WU X， HAN Y， ZHU S， et al. Learned pseudo-random number generator based on generative adversarial networks ［C］// Proceedings of the 2023 International Conference on Frontiers in Cyber Security， CCIS 1992. Singapore： Springer， 2024： 517-530.
[16]	GULRAJANI I， AHMED F， ARJOVSKY M， et al. Improved training of Wasserstein GANs ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 5769-5779.
[17]	BROPHY E， WANG Z， SHE Q， et al. Generative adversarial networks in time series： a systematic literature review ［J］. ACM Computing Surveys， 2023， 55（10）： No.199.
[18]	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780.
[19]	MEHTA S， RASTEGARI M. Separable self-attention for mobile vision Transformers ［R/OL］. ［2024-04-05］. .
[20]	KONG F， LI J， JIANG B， et al. Integrated generative model for industrial anomaly detection via bidirectional LSTM and attention mechanism ［J］. IEEE Transactions on Industrial Informatics， 2023， 19（1）： 541-550.
[21]	LU X Q， TIAN J， LIAO Q， et al. CNN-LSTM based incremental attention mechanism enabled phase-space reconstruction for chaotic time series prediction ［J］. Journal of Electronic Science and Technology， 2024， 22（2）： No.100256.
[22]	KOU Y， CHEN Z， GU Q. Implicit bias of gradient descent for two-layer ReLU and Leaky ReLU networks on nearly-orthogonal data［C］// Proceedings of the 37th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2023： 30167-30221.
[23]	HUANG L， QIN J， ZHOU Y， et al. Normalization techniques in training DNNs： methodology， analysis and application ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（8）： 10173-10196.
[24]	BARKER E， KELSEY J. Recommendation for random number generation using deterministic random bit generators： NIST SP 800-90RevA.1 ［R/OL］. ［2024-07-24］. .
[25]	RUKHIN A， SOTO J， NECHVATAL J， et al. A statistical test suite for random and pseudorandom number generators for cryptographic applications： NIST SP 800-22 Rev 1a ［R/OL］. ［2024-07-28］..

基于LSTM和可分离自注意力机制的伪随机数生成器

Pseudo random number generator based on LSTM and separable self-attention mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 25

相关文章 15

编辑推荐

Metrics

[1]	苏锦涛, 葛丽娜, 肖礼广, 邹经, 王哲. 联邦学习中针对后门攻击的检测与防御方案[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2399-2408.
[2]	周金, 李玉芝, 张徐, 高硕, 张立, 盛家川. 复杂电磁环境下的调制识别网络[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2672-2682.
[3]	赵小阳, 许新征, 李仲年. 物联网应用中的可解释人工智能研究综述[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2169-2179.
[4]	黄颖, 高胜美, 陈广, 刘苏. 结合信噪比引导的双分支结构和直方图均衡的低照度图像增强网络[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1971-1979.
[5]	李慧, 贾炳志, 王晨曦, 董子宇, 李纪龙, 仲兆满, 陈艳艳. 基于Swin Transformer的生成对抗网络水下图像增强模型[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1439-1446.
[6]	潘理虎, 彭守信, 张睿, 薛之洋, 毛旭珍. 面向运动前景区域的视频异常检测[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1300-1309.
[7]	上官宏, 任慧莹, 张雄, 韩兴隆, 桂志国, 王燕玲. 基于双编码器双解码器GAN的低剂量CT降噪模型[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 624-632.
[8]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[9]	徐月梅, 胡玲, 赵佳艺, 杜宛泽, 王文清. 大语言模型的技术应用前景与风险挑战[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1655-1662.
[10]	王昊冉, 于丹, 杨玉丽, 马垚, 陈永乐. 面向工控系统未知攻击的域迁移入侵检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1158-1165.
[11]	郑毅, 廖存燚, 张天倩, 王骥, 刘守印. 面向城区的基于图去噪的小区级RSRP估计方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 855-862.
[12]	柴汶泽, 范菁, 孙书魁, 梁一鸣, 刘竟锋. 深度度量学习综述[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 2995-3010.
[13]	陈彤, 位纪伟, 何仕远, 宋井宽, 杨阳. 基于自适应攻击强度的对抗训练方法[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 94-100.
[14]	周辉, 陈玉玲, 王学伟, 张洋文, 何建江. 基于生成对抗网络的联邦学习深度影子防御方案[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 223-232.
[15]	刘安阳, 赵怀慈, 蔡文龙, 许泽超, 解瑞灯. 基于主动判别机制的自适应生成对抗网络图像去模糊算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2288-2294.