Pseudo random number generator based on LSTM and separable self-attention mechanism

doi:10.11772/j.issn.1001-9081.2024091345

Abstract

Abstract:

To address the issues of poor quality and slow generation of pseudo random numbers generated by Generative Adversarial Network （GAN）， a model LSA-WGAN-GP （Wasserstein GAN with Gradient Penalty based on LSTM and separable SA） based on Long Short-Term Memory （LSTM） and separable Self-Attention （SA） mechanism was proposed. In the model， the data were expanded from one-dimensional space to two-dimensional space， the representation method of data was improved， thereby enabling extraction of deeper-level features. And an innovative LSA （LSTM and separable Self-Attention） module was introduced， so as to integrate LSTM and SA mechanism to enhance irreversibility and unpredictability of the generated pseudo random numbers significantly. Additionally， the network structure was simplified， thereby reducing the model’s parameters effectively and improving the generation speed. Experimental results demonstrate that pseudo random numbers generated by LSA-WGAN-GP pass the National Institute of Standards and Technology （NIST） tests with a 100% success rate； compared to WGAN-GP （Wasserstein GAN with Gradient Penalty） and GAN， LSA-WGAN-GP improves P-values and pass rates in the frequency and universal test items； in terms of pseudo random number generation speed， LSA-WGAN-GP generates pseudo random numbers 164% and 975% faster than WGAN-GP and GAN， respectively. It can be seen that the proposed model ensures quality of the generated pseudo random number with reduced parameters and improved pseudo random number generation speed.

Key words: pseudo random number generation, Generative Adversarial Network (GAN), Long Short-Term Memory (LSTM) network, separable Self-Attention (SA) mechanism, Artificial Intelligence (AI)

摘要：

针对生成对抗网络（GAN）生成伪随机数的质量不高和生成速度较慢的问题，提出一种基于长短时记忆（LSTM）网络和可分离自注意力（SA）机制的模型LSA-WGAN-GP（Wasserstein GAN with Gradient Penalty based on LSTM and separable SA）。该模型通过将数据从一维扩展为二维，改进数据的表示方式，从而提取更深层次的特征。并且，创新性地提出LSA（LSTM and separable Self-Attention）模块，以融合LSTM和SA机制，从而显著提升伪随机数的不可回溯性和不可预测性。此外，通过精简网络结构有效减小模型参数量，并提高生成速度。实验结果表明，LSA-WGAN-GP生成的伪随机数可以100%通过NIST（National Institute of Standards and Technology）测试；与WGAN-GP（Wasserstein GAN with Gradient Penalty）和GAN相比，LSA-WGAN-GP在频率和全局通用测试项的P值和通过率上均有提升；在伪随机数生成速度上，LSA-WGAN-GP比WGAN-GP和GAN分别提升了164%和976%。可见，LSA-WGAN-GP在保证生成的伪随机数质量的同时，减少了模型的参数量，并提高了生成伪随机数的速度。

关键词: 伪随机数生成, 生成对抗网络, 长短时记忆网络, 可分离自注意力机制, 人工智能

CLC Number:

TP309

Yilin DENG, Fajiang YU. Pseudo random number generator based on LSTM and separable self-attention mechanism[J]. Journal of Computer Applications, 2025, 45(9): 2893-2901.

邓伊琳, 余发江. 基于LSTM和可分离自注意力机制的伪随机数生成器[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2893-2901.

Figures/Tables 10

Fig. 1 Structure of LSA-WGAN-GP

Fig. 2 Data dimension conversion

Fig. 3 Structure of generator

Fig. 4 Structure of LSA

Fig. 5 Structure of discriminator

Tab. 1 NIST test results in comparison experiments

测试项目	LSA-WGAN-GP			WGAN-GP			GAN
测试项目	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$
频率	0.880	98.8	$A$	0.160	98.3	$A$	0.730	98.7	$A$
块内频率	0.793	99.0	$A$	0.023	99.7	$A$	0.277	99.1	$A$
游程	0.264	99.2	$A$	0.902	98.7	$A$	0.679	99.0	$A$
块内最长游程	0.053	98.5	$A$	0.347	98.8	$A$	0.062	98.9	$A$
二元矩阵秩	0.454	99.2	$A$	0.143	98.5	$A$	0.589	98.9	$A$
离散傅里叶变换	0.090	99.1	$A$	0.053	98.9	$A$	0.387	98.1	$A$
非重叠模板匹配	0.377	98.3	$A$	0.434	98.2	$A$	0.190	98.2	$A$
重叠模板匹配	0.736	98.3	$A$	0.656	98.9	$A$	0.822	98.8	$A$
全局通用	0.787	99.3	$A$	0.262	98.9	$A$	0.746	99.0	$A$
线性复杂度	0.504	99.1	$A$	0.730	98.9	$A$	0.428	99.0	$A$
串行	0.764	98.9	$A$	0.158	99.1	$A$	0.062	99.0	$A$
近似熵	0.929	99.3	$A$	0.398	98.9	$A$	0.298	99.4	$A$
累积和	0.103	98.3	$A$	0.150	98.2	$A$	0.080	98.7	$A$
随机偏移	0.440	97.9	$A$	0.418	98.1	$A$	0.215	98.0	$A$
随机偏移变量	0.431	98.4	$A$	0.029	98.3	$A$	0.017	98.9	$A$
15项测试通过率	15/15			15/15			15/15
通过/不通过	通过			通过			通过

Tab. 1 NIST test results in comparison experiments

测试项目	LSA-WGAN-GP			WGAN-GP			GAN
测试项目	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$
频率	0.880	98.8	$A$	0.160	98.3	$A$	0.730	98.7	$A$
块内频率	0.793	99.0	$A$	0.023	99.7	$A$	0.277	99.1	$A$
游程	0.264	99.2	$A$	0.902	98.7	$A$	0.679	99.0	$A$
块内最长游程	0.053	98.5	$A$	0.347	98.8	$A$	0.062	98.9	$A$
二元矩阵秩	0.454	99.2	$A$	0.143	98.5	$A$	0.589	98.9	$A$
离散傅里叶变换	0.090	99.1	$A$	0.053	98.9	$A$	0.387	98.1	$A$
非重叠模板匹配	0.377	98.3	$A$	0.434	98.2	$A$	0.190	98.2	$A$
重叠模板匹配	0.736	98.3	$A$	0.656	98.9	$A$	0.822	98.8	$A$
全局通用	0.787	99.3	$A$	0.262	98.9	$A$	0.746	99.0	$A$
线性复杂度	0.504	99.1	$A$	0.730	98.9	$A$	0.428	99.0	$A$
串行	0.764	98.9	$A$	0.158	99.1	$A$	0.062	99.0	$A$
近似熵	0.929	99.3	$A$	0.398	98.9	$A$	0.298	99.4	$A$
累积和	0.103	98.3	$A$	0.150	98.2	$A$	0.080	98.7	$A$
随机偏移	0.440	97.9	$A$	0.418	98.1	$A$	0.215	98.0	$A$
随机偏移变量	0.431	98.4	$A$	0.029	98.3	$A$	0.017	98.9	$A$
15项测试通过率	15/15			15/15			15/15
通过/不通过	通过			通过			通过

Tab. 2 Generation speeds and parameters of different models in comparison experiments

模型	网络结构	参数	参数量	总参数量	生成速度/（Mb·s^-1）
LSA-WGAN-GP	LSA模块	（3，3）	112	396	14.306
	Conv1d_1	（3，4）	40
	Conv1d_2	（4，8）	104
	Conv1d_3	（8，4）	100
	Conv1d_4	（4，3）	40
WGAN-GP	Linear_1	（36，256）	9 472	1 331 748	5.423
	Linear_2	（256，512）	131 584
	Linear_3	（512，1 024）	525 312
	Linear_4	（1 024，512）	524 800
	Linear_5	（512，256）	131 328
	Linear_6	（256，36）	9 252
GAN	Linear_1	（32，100）	3 300	206 556	1.330
	Linear_2	（100，200）	20 200
	Linear_3	（200，400）	80 400
	Linear_4	（400，256）	102 656

Fig. 6 Comparison of generator loss changes in ablation experiments

Tab. 3 Comparison of NIST test results and generation speeds in ablation experiments

测试项目	Base			Base+L			Base+SA			Base+LSA
测试项目	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$
频率	0.000	88.5	$R$	0.000	97.6	$R$	0.000	95.5	$R$	0.880	98.8	$A$
块内频率	0.000	96.4	$R$	0.055	99.3	$A$	0.000	98.4	$R$	0.793	99.0	$A$
游程	0.000	91.4	$R$	0.943	99.5	$A$	0.479	98.2	$A$	0.264	99.2	$A$
块内最长游程	0.975	99.0	$A$	0.155	98.6	$A$	0.677	98.6	$A$	0.053	98.5	$A$
二元矩阵秩	0.728	99.3	$A$	0.538	98.8	$A$	0.689	98.8	$A$	0.454	99.2	$A$
离散傅里叶变换	0.117	98.9	$A$	0.062	99.1	$A$	0.544	99.1	$A$	0.090	99.1	$A$
非重叠模板匹配	0.000	95.9	$R$	0.242	98.4	$A$	0.508	98.2	$A$	0.377	98.3	$A$
重叠模板匹配	0.000	96.6	$R$	0.658	99.0	$A$	0.483	98.9	$A$	0.736	98.3	$A$
全局通用	0.097	99.2	$A$	0.620	98.7	$A$	0.195	98.1	$A$	0.787	99.3	$A$
线性复杂度	0.623	99.1	$A$	0.003	98.8	$A$	0.720	98.4	$A$	0.504	99.1	$A$
串行	0.561	98.5	$A$	0.108	98.8	$A$	0.526	98.8	$A$	0.764	98.9	$A$
近似熵	0.131	98.3	$A$	0.748	99.0	$A$	0.766	99.1	$A$	0.929	99.3	$A$
累积和	0.000	88.4	$R$	0.000	97.6	$R$	0.000	95.8	$R$	0.103	98.3	$A$
随机偏移	0.936	98.2	$A$	0.271	98.3	$A$	0.032	98.4	$A$	0.440	97.9	$A$
随机偏移变量	0.566	98.4	$A$	0.118	97.8	$A$	0.464	98.8	$A$	0.431	98.4	$A$
15项测试通过率	9/15			13/15			12/15			15/15
通过/不通过	不通过			不通过			不通过			通过
总参数量	284			356			324			396
生成速度/（Mb·s^-1）	19.166			16.887			18.422			14.306

Tab. 3 Comparison of NIST test results and generation speeds in ablation experiments

测试项目	Base			Base+L			Base+SA			Base+LSA
测试项目	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$	$P$ 值	通过率/%	$A / R$
频率	0.000	88.5	$R$	0.000	97.6	$R$	0.000	95.5	$R$	0.880	98.8	$A$
块内频率	0.000	96.4	$R$	0.055	99.3	$A$	0.000	98.4	$R$	0.793	99.0	$A$
游程	0.000	91.4	$R$	0.943	99.5	$A$	0.479	98.2	$A$	0.264	99.2	$A$
块内最长游程	0.975	99.0	$A$	0.155	98.6	$A$	0.677	98.6	$A$	0.053	98.5	$A$
二元矩阵秩	0.728	99.3	$A$	0.538	98.8	$A$	0.689	98.8	$A$	0.454	99.2	$A$
离散傅里叶变换	0.117	98.9	$A$	0.062	99.1	$A$	0.544	99.1	$A$	0.090	99.1	$A$
非重叠模板匹配	0.000	95.9	$R$	0.242	98.4	$A$	0.508	98.2	$A$	0.377	98.3	$A$
重叠模板匹配	0.000	96.6	$R$	0.658	99.0	$A$	0.483	98.9	$A$	0.736	98.3	$A$
全局通用	0.097	99.2	$A$	0.620	98.7	$A$	0.195	98.1	$A$	0.787	99.3	$A$
线性复杂度	0.623	99.1	$A$	0.003	98.8	$A$	0.720	98.4	$A$	0.504	99.1	$A$
串行	0.561	98.5	$A$	0.108	98.8	$A$	0.526	98.8	$A$	0.764	98.9	$A$
近似熵	0.131	98.3	$A$	0.748	99.0	$A$	0.766	99.1	$A$	0.929	99.3	$A$
累积和	0.000	88.4	$R$	0.000	97.6	$R$	0.000	95.8	$R$	0.103	98.3	$A$
随机偏移	0.936	98.2	$A$	0.271	98.3	$A$	0.032	98.4	$A$	0.440	97.9	$A$
随机偏移变量	0.566	98.4	$A$	0.118	97.8	$A$	0.464	98.8	$A$	0.431	98.4	$A$
15项测试通过率	9/15			13/15			12/15			15/15
通过/不通过	不通过			不通过			不通过			通过
总参数量	284			356			324			396
生成速度/（Mb·s^-1）	19.166			16.887			18.422			14.306

Fig. 7 Comparison of failed NIST test items in ablation experiments

References 25

[1]	SANGEETHA Y， MAJJI S， SRINAGESH A， et al. Authentication of symmetric cryptosystem using anti-aging controller-based true random number generator ［J］. Applied Nanoscience， 2023， 13（2）： 1055-1064.
[2]	ALEXAN W， ALEXAN N， GABR M. Multiple-layer image encryption utilizing fractional-order chen hyperchaotic map and cryptographically secure PRNGs ［J］. Fractal and Fractional， 2023， 7（4）： No.287.
[3]	刁进，谢飞龙，胡汉平. 基于改进混沌系统的伪随机数发生器［J］. 计算机应用， 2021， 41（S2）：151-158.
	DIAO J， XIE F L， HU H P. Pseudo random number generator based on improved chaotic system ［J］. Journal of Computer Applications， 2021， 41（S2）： 151-158.
[4]	陈东昱，陈华，范丽敏，等. 基于深度学习的随机性检验策略研究［J］. 通信学报， 2023， 44（6）：23-33.
	CHEN D Y， CHEN H， FAN L M， et al. Research on test strategy for randomness based on deep learning ［J］. Journal on Communications， 2023， 44（6）： 23-33.
[5]	JEONG Y S， OH K J， CHO C K， et al. Pseudo-random number generation using LSTMs ［J］. The Journal of Supercomputing， 2020， 76（10）： 8324-8342.
[6]	PASQUALINI L， PARTON M. Pseudo random number generation： a reinforcement learning approach ［J］. Procedia Computer Science， 2020， 170： 1122-1127.
[7]	PASQUALINI L， PARTON M. Pseudo random number generation through reinforcement learning and recurrent neural networks ［J］. Algorithms， 2020， 13（11）： No.307.
[8]	GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks ［J］. Communications of the ACM， 2020， 63（11）： 139-144.
[9]	DE BERNARDI M， KHOUZANI M H R， MALACARIA P. Pseudo-random number generation using generative adversarial networks［C］// Proceedings of the 2018 Joint European Conference on Machine Learning and Knowledge Discovery in Databases Workshops， LNCS 11329. Cham： Springer， 2019： 191-200.
[10]	OAK R， RAHALKAR C， GUJAR D. Poster： using generative adversarial networks for secure pseudorandom number generation［C］// Proceedings of the 2019 ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2019： 2597-2599.
[11]	KIM H， KWON Y， SIM M， et al. Generative adversarial networks-based pseudo-random number generator for embedded processors ［C］// Proceedings of the 2020 Information Security and Cryptology， LNCS 12593. Cham： Springer， 2021： 215-234.
[12]	MAN Z， LI J， DI X， et al. A novel image encryption algorithm based on least squares generative adversarial network random number generator ［J］. Multimedia Tools and Applications， 2021， 80（18）： 27445-27469.
[13]	李锦青，刘泽飞，满振龙. 基于生成对抗网络的密钥生成方法及其在微光图像加密中的应用［J］. 兵工学报， 2022， 43（2）：337-344.
	LI J Q， LIU Z F， MAN Z L. Key generation method based on generative adversarial network and its application in low-light-level image encryption ［J］. Acta Armamentarii， 2022， 43（2）： 337-344.
[14]	OKADA K， ENDO K， YASUOKA K， et al. Learned pseudo-random number generator： WGAN-GP for generating statistically robust random numbers ［J］. PLoS ONE， 2023， 18（6）： No.e0287025.
[15]	WU X， HAN Y， ZHU S， et al. Learned pseudo-random number generator based on generative adversarial networks ［C］// Proceedings of the 2023 International Conference on Frontiers in Cyber Security， CCIS 1992. Singapore： Springer， 2024： 517-530.
[16]	GULRAJANI I， AHMED F， ARJOVSKY M， et al. Improved training of Wasserstein GANs ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 5769-5779.
[17]	BROPHY E， WANG Z， SHE Q， et al. Generative adversarial networks in time series： a systematic literature review ［J］. ACM Computing Surveys， 2023， 55（10）： No.199.
[18]	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780.
[19]	MEHTA S， RASTEGARI M. Separable self-attention for mobile vision Transformers ［R/OL］. ［2024-04-05］. .
[20]	KONG F， LI J， JIANG B， et al. Integrated generative model for industrial anomaly detection via bidirectional LSTM and attention mechanism ［J］. IEEE Transactions on Industrial Informatics， 2023， 19（1）： 541-550.
[21]	LU X Q， TIAN J， LIAO Q， et al. CNN-LSTM based incremental attention mechanism enabled phase-space reconstruction for chaotic time series prediction ［J］. Journal of Electronic Science and Technology， 2024， 22（2）： No.100256.
[22]	KOU Y， CHEN Z， GU Q. Implicit bias of gradient descent for two-layer ReLU and Leaky ReLU networks on nearly-orthogonal data［C］// Proceedings of the 37th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2023： 30167-30221.
[23]	HUANG L， QIN J， ZHOU Y， et al. Normalization techniques in training DNNs： methodology， analysis and application ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（8）： 10173-10196.
[24]	BARKER E， KELSEY J. Recommendation for random number generation using deterministic random bit generators： NIST SP 800-90RevA.1 ［R/OL］. ［2024-07-24］. .
[25]	RUKHIN A， SOTO J， NECHVATAL J， et al. A statistical test suite for random and pseudorandom number generators for cryptographic applications： NIST SP 800-22 Rev 1a ［R/OL］. ［2024-07-28］..