基于联邦学习和深度残差网络的入侵检测

doi:10.11772/j.issn.1001-9081.2022081222

摘要/Abstract

摘要：

深度学习被广泛应用到入侵检测领域，但大多数研究的重点是通过改进算法提高入侵检测的准确率，却忽视了在实际应用中单个用户拥有的数据无法满足训练需求的问题。为了实现网络入侵检测模型在训练过程中保护用户隐私安全的同时，仍具有对网络流量数据检测异常的能力，提出一种基于联邦学习并融合深度残差网络（ResNet）和注意力机制的入侵检测模型FL-SEResNet（Federation Learning Squeeze-and-Excitation network ResNet）。在训练过程中，通过对数据压缩、解压、分发、加密和聚合等操作，可以在保护参与者数据隐私的同时，通过多方参与提供足够的训练数据。在NSL-KDD和UNSW-NB15数据集上，所提模型在多分类实验的识别准确率分别为84.22%和80.38%。在NSL-KDD上，与同属于联邦学习的CNN-FL相比，对多分类的识别准确率提升了1.82个百分点，对少数类R2L（Remote to Local）的识别准确率提升了24.94个百分点。

关键词: 联邦学习, 多标签学习, 入侵检测, 网络流量检测, 卷积神经网络

Abstract:

Deep learning is widely used in the field of intrusion detection， but most research has focused on improving the accuracy of intrusion detection through improved algorithms， ignoring the fact that the data owned by a single user cannot meet the training requirements in practical applications. For protecting user privacy and security during training while still detecting anomalies in network traffic data， an intrusion detection model based on federated learning and incorporating deep Residual Network （ResNet） and attention mechanism was proposed， called FL-SEResNet （Federation Learning Squeeze-and-Excitation network ResNet）. During the training process， the data was operated by the operations such as compressing， decompressing， distributing， encrypting， and aggregating， which could provide sufficient training data through multiple participants while protecting the privacy of participants data. The recognition accuracies of the multi-classification experiments on NSL-KDD and UNSW-NB15 datasets are 84.22% and 80.38%， respectively. For NSL-KDD dataset， compared with CNN-FL（Convolutional Neural Network-Federated Learning）， which is also a federated learning， the recognition accuracy for the multiclassification was improved by 1.82 percentage points， and the recognition accuracy for the minority class R2L （Remote to Local） was improved by 24.94 percentage points.

Key words: federated learning, multi-label learning, intrusion detection, network traffic detection, Convolution Neural Network (CNN)

中图分类号:

TP393.08

郑超, 邬悦婷, 肖珂. 基于联邦学习和深度残差网络的入侵检测[J]. 计算机应用, 2023, 43(S1): 133-138.

Chao ZHENG, Yueting WU, Ke XIAO. Intrusion detection based on federated learning and deep residual network[J]. Journal of Computer Applications, 2023, 43(S1): 133-138.

图/表 12

图1 残差模块结构

图2 嵌入SENet的残差模块结构

图3 联邦学习框架结构

表1 ResNet18和SEResNet18结构

层名称	输出大小	ResNet18	SEResNet18
FC	1×1	Global Average Polling，1 024
Conv	12×12	7×7，64，步长2 3×3 max pool，2	3×3，64，步长1
Conv_1	12×12	$3 × 3, 64 3 × 3, 64 × 2$	$3 × 3, 64 3 × 3, 64 f c, 16, 64 × 1$
Conv_2	6×6	$3 × 3, 128 3 × 3, 128 × 2$	$3 × 3, 128 3 × 3, 128 f c, 32, 128 × 2$
Conv_3	3×3	$3 × 3, 256 3 × 3, 256 × 2$	$3 × 3, 256 3 × 3, 256 f c, 64, 256 × 2$
Conv_4	2×2	$3 × 3, 512 3 × 3, 512 × 2$	$3 × 3, 512 3 × 3, 512 f c, 128, 512 × 2$

表1 ResNet18和SEResNet18结构

层名称	输出大小	ResNet18	SEResNet18
FC	1×1	Global Average Polling，1 024
Conv	12×12	7×7，64，步长2 3×3 max pool，2	3×3，64，步长1
Conv_1	12×12	$3 × 3, 64 3 × 3, 64 × 2$	$3 × 3, 64 3 × 3, 64 f c, 16, 64 × 1$
Conv_2	6×6	$3 × 3, 128 3 × 3, 128 × 2$	$3 × 3, 128 3 × 3, 128 f c, 32, 128 × 2$
Conv_3	3×3	$3 × 3, 256 3 × 3, 256 × 2$	$3 × 3, 256 3 × 3, 256 f c, 64, 256 × 2$
Conv_4	2×2	$3 × 3, 512 3 × 3, 512 × 2$	$3 × 3, 512 3 × 3, 512 f c, 128, 512 × 2$

图4 SEResNet模型的结构

图5 部分样本图片

表2 NSL-KDD数据集

类别编号	样本类别	训练集	测试集
总计		125 973	22 544
0	Normal	67 343	9 711
1	DoS	45 927	7 458
2	Probe	11 656	2 421
3	R2L	995	2 754
4	U2L	52	200

图6 FL-SEResNet的训练流程

图7 多分类实验中FL-SEResNet的分类效果（NSL-KDD）

表3 联邦学习对模型的影响

模型	准确率	误报率	每轮迭代平均训练时间/s	数据安全性
SEResNet	0.819 7	0.018	39.66	不安全
FL-SEResNet	0.842 2	0.012	33.81	安全

表4 NSL-KDD数据集上的多分类对照实验

模型	召回率					准确率
模型	Normal	DoS	Probe	R2L	U2R	准确率
DNN	0.974 0	0.795 0	0.634 0	0.269 0	0.229 0	0.785 0
SOM-FIS	0.946 3	0.768 6	0.488 2	0.364 6	0.010 0	0.759 0
CNN-FL	0.955 5	0.837 5	0.865 3	0.299 9	0.170 0	0.824 0
本文模型	0.965 7	0.807 7	0.827 3	0.549 3	0.110 0	0.842 2

图8 多分类实验中FL-SEResNet的混淆矩阵（UNSW-NB15）

参考文献 18

1	WU W F， LIR F， XIE G Q， et al. A survey of intrusion detection for in-vehicle networks［J］. IEEE Transactions on Intelligent Transportation Systems， 2020， 21（3）： 919-933. 10.1109/tits.2019.2908074
2	蹇诗婕，卢志刚，杜丹，等.网络入侵检测技术综述［J］.信息安全学报，2020，5（4）：96-122.
3	李熠，李永忠.基于自编码器和极限学习机的工业控制网络入侵检测算法［J］.南京理工大学学报，2019，43（4）：408-413. 10.14177/j.cnki.32-1397n.2019.43.04.005
4	ZDENEK M， LUKAS M， et al. Profiling power analysis attack based on multi-layer perceptron network［C］// Proceedings of the 2015 Computational Problems in Science and Engineering. Cham： Springer， 2015： 317-339. 10.1007/978-3-319-15765-8_18
5	RING M， SCHLR D， LANDES D， et al. Flow-based network traffic generation using generative adversarial networks［J］. Computers and Security， 2019， 82（C）： 156-172. 10.1016/j.cose.2018.12.012
6	YIN C L， ZHU Y F， FEI J L， et al. A deep learning approach for intrusion detection using recurrent neural networks［J］. IEEE Access， 2017， 5： 21954-21961. 10.1109/access.2017.2762418
7	AL-ABASSI A， KARIMIPOUR H， DEHGHANTANHA A， et al. An ensemble deep learning-based cyber-attack detection in industrial control system［J］. IEEE Access， 2020，8： 83965-83973. 10.1109/access.2020.2992249
8	HOMOLIAK I， TEKNOS M， OCHOA M， et al. Improving network intrusion detection classiers by non-payload-based exploit-independent obfuscations： an adversarial approach［J］. Security and Safety， 2019， 5（17）： 156245. 10.4108/eai.10-1-2019.156245
9	PAUL S， BANERJEE C， GHOSHAL M. A CFS-DNN based intrusion detection system ［C］// Proceedings of the 2018 International Conference on Advances in Communication， Devices and Networking. Cham： Springer， 2018： 159-168. 10.1007/978-981-10-7901-6_19
10	ATEFI K， HASHIM H， KHODADADI T. A hybrid anomaly classification with Deep Learning （DL） and Binary Algorithms （BA） as optimizer in the Intrusion Detection System （IDS）［C］// Proceedings of the 16th IEEE International Colloquium on Signal Processing & Its Applications. Piscataway： IEEE， 2020： 29-34. 10.1109/cspa48992.2020.9068725
11	LEI M， LI X， CAI B， et al. P-DNN： an effective intrusion detection method based on pruning deep neural network［C］// Proceedings of the 2020 International Joint Conference on Neural Networks. Piscataway：IEEE， 2020： 1-9. 10.1109/ijcnn48605.2020.9206805
12	MacDERMOTT Á， SHI Q， KIFAYAT K. Collaborative intrusion detection in federated cloud environments ［J］. Journal of Computer Sciences and Applications， 2015， 3（3A）： 10-20.
13	赵英，王丽宝，陈骏君，等.基于联邦学习的网络异常检测［J］.北京化工大学学报（自然科学版），2021，48（2）：92-99. 10.13543/j.bhxbzr.2021.02.012
14	HE K M， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
15	YANG Q， LIU Y， CHEN T， et al. Federated machine learning： concept and applications［J］. ACM Transactions on Intelligent Systems and Technology， 2019， 10（2）：1-19. 10.1145/3298981
16	LI Q， WEN Z， WU Z， et al. A survey on federated learning systems： vision， hype and reality for data privacy and protection ［C］// Proceedings of the 2021 International Conference on IEEE Transactions on Knowledge and Data Engineering. Piscataway：IEEE， 2021： 1. 10.1109/tkde.2021.3124599
17	VINAYAKUMAR R， ALAZAB M， SOMAN K， et al. Deep learning approach for intelligent intrusion detection system ［J］. IEEE Access， 2019， 7： 41525-41550. 10.1109/access.2019.2895334
18	MIDZIC A， AVDAGIC Z， OMANOVIC S. Intrusion detection system modeling based on learning from network traffic data［J］. KSII Transactions on Internet and Information Systems， 2018， 12（11）：5568-5587. 10.3837/tiis.2018.11.022

[1]	刘希未, 宫晓燕, 赵红霞, 边思宇, 邵帅, 戴亚平, 代文鑫. 基于混合注意力机制的动态人脸表情识别[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 1-7.
[2]	江魁, 余志航, 陈小雷, 李宇豪. 基于BERT-CNN的Webshell流量检测系统设计与实现[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 126-132.
[3]	张慧斌, 冯丽萍, 郝耀军, 王一宁. 基于注意力机制和迁移学习的古壁画朝代识别[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1826-1832.
[4]	林尚静, 马冀, 庄琲, 李月颖, 李子怡, 李铁, 田锦. 基于联邦学习的无线通信流量预测[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1900-1909.
[5]	许睿, 梁爽, 万航, 文益民, 沈世铭, 李建. 基于烛台图模式匹配的PM_2.5扩散特征的提取[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1394-1400.
[6]	隋佳宏, 毛莺池, 于慧敏, 王子成, 平萍. 基于图注意力网络的全局图像描述生成方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1409-1415.
[7]	何建辉, 胡春龙, 束鑫. 基于多峰标签分布学习的多任务年龄估计方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1578-1583.
[8]	傅励瑶, 尹梦晓, 杨锋. 基于Transformer的U型医学图像分割网络综述[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1584-1595.
[9]	王彬, 向甜, 吕艺东, 王晓帆. 基于NSGA‑Ⅱ的自适应多尺度特征通道分组优化算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1401-1408.
[10]	杨森淇, 段旭良, 肖展, 郎松松, 李志勇. 基于ERNIE+DPCNN+BiGRU的农业新闻文本分类[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1461-1466.
[11]	樊小宇, 蔺素珍, 王彦博, 刘峰, 李大威. 基于残差图卷积神经网络的高倍欠采样核磁共振图像重建算法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1261-1268.
[12]	尹春勇, 屈锐. 基于个性化差分隐私的联邦学习算法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1160-1168.
[13]	杨海宇, 郭文普, 康凯. 基于卷积长短时深度神经网络的信号调制方式识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1318-1322.
[14]	郝劭辰, 卫孜钻, 马垚, 于丹, 陈永乐. 基于高效联邦学习算法的网络入侵检测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1169-1175.
[15]	张秋余, 王煜坤. 基于改进Inception网络的语音分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 909-915.