《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2118-2124.DOI: 10.11772/j.issn.1001-9081.2021040692
所属专题: 网络空间安全
收稿日期:
2021-04-30
修回日期:
2021-08-06
接受日期:
2021-08-10
发布日期:
2022-07-15
出版日期:
2022-07-10
通讯作者:
董宁
作者简介:
程晓荣(1963—),女,河北邯郸人,教授,博士,主要研究方向:网络安全、大数据基金资助:
Ning DONG(), Xiaorong CHENG, Mingquan ZHANG
Received:
2021-04-30
Revised:
2021-08-06
Accepted:
2021-08-10
Online:
2022-07-15
Published:
2022-07-10
Contact:
Ning DONG
About author:
CHENG Xiaorong, born in 1963, Ph. D., professor. Her research interests include network security, big data.Supported by:
摘要:
随着物联网(IoT)接入设备越来越多,以及网络管理维护人员缺乏对IoT设备的安全意识,针对IoT环境和设备的攻击逐渐泛滥。为了加强IoT环境下的网络安全性,利用基于IoT平台制作的入侵检测数据集,采用卷积神经网络(CNN)+长短期记忆(LSTM)网络为模型架构,利用CNN提取数据的空间特征,LSTM提取数据的时序特征,并将交叉熵损失函数改进为动态权重交叉熵损失函数,制作出一个针对IoT环境的入侵检测系统(IDS)。经实验设计分析,并使用准确率、精确率、召回率和F1-measure作为评估参数。实验结果表明在CNN-LSTM网络架构下采用了动态权重损失函数的模型与采用传统的交叉熵损失函数的模型相比,前者比后者在使用数据集的地址解析协议(ARP)类样本中在F1-Measure上提升了47个百分点,前者比后者针对数据集中的其他少数类样本则提升了2个百分点~10个百分点。实验结果表明,动态权重损失函数能够增强模型对少数类样本的判别能力,且该方法可以提升IDS对少数类攻击样本的判断能力。
中图分类号:
董宁, 程晓荣, 张铭泉. 基于物联网平台的动态权重损失函数入侵检测系统[J]. 计算机应用, 2022, 42(7): 2118-2124.
Ning DONG, Xiaorong CHENG, Mingquan ZHANG. Intrusion detection system with dynamic weight loss function based on internet of things platform[J]. Journal of Computer Applications, 2022, 42(7): 2118-2124.
数据集 | DoS | Probe | U2R | R2L | Normal |
---|---|---|---|---|---|
训练集 | 45 927 | 11 656 | 43 | 995 | 67 351 |
测试集 | 7 459 | 2 421 | 65 | 2 743 | 9 855 |
表1 NSL-KDD数据集样本分布
Tab. 1 NSL-KDD dataset sample distribution
数据集 | DoS | Probe | U2R | R2L | Normal |
---|---|---|---|---|---|
训练集 | 45 927 | 11 656 | 43 | 995 | 67 351 |
测试集 | 7 459 | 2 421 | 65 | 2 743 | 9 855 |
攻击类型 | 数据量 |
---|---|
Normal | 40 073 |
Mirai | 415 677 |
DoS | 59 391 |
ARP | 35 377 |
Scan | 75 266 |
表2 IoT入侵检测数据集样本分布
Tab. 2 IoT intrusion detection dataset sample distribution
攻击类型 | 数据量 |
---|---|
Normal | 40 073 |
Mirai | 415 677 |
DoS | 59 391 |
ARP | 35 377 |
Scan | 75 266 |
标签 | 预测 | |||||
---|---|---|---|---|---|---|
DoS | ARP | Mirai | Normal | Scan | 共计 | |
共计 | 17 645 | 937 | 128 661 | 11 184 | 29 573 | 188 000 |
DoS | 17 641 | 0 | 42 | 10 | 0 | 17 693 |
ARP | 0 | 928 | 5 960 | 30 | 3 616 | 10 534 |
Mirai | 0 | 6 | 120 543 | 47 | 4 579 | 125 175 |
Normal | 4 | 0 | 690 | 11 084 | 172 | 11 950 |
Scan | 0 | 3 | 1 426 | 13 | 21 206 | 22 648 |
表3 交叉熵损失函数模型分类
Tab. 3 Cross-entropy loss function model classification
标签 | 预测 | |||||
---|---|---|---|---|---|---|
DoS | ARP | Mirai | Normal | Scan | 共计 | |
共计 | 17 645 | 937 | 128 661 | 11 184 | 29 573 | 188 000 |
DoS | 17 641 | 0 | 42 | 10 | 0 | 17 693 |
ARP | 0 | 928 | 5 960 | 30 | 3 616 | 10 534 |
Mirai | 0 | 6 | 120 543 | 47 | 4 579 | 125 175 |
Normal | 4 | 0 | 690 | 11 084 | 172 | 11 950 |
Scan | 0 | 3 | 1 426 | 13 | 21 206 | 22 648 |
类型 | 准确率 | 精确率 | 召回率 | F1-Measure |
---|---|---|---|---|
DoS | 0.999 7 | 0.999 7 | 0.990 7 | 0.995 1 |
ARP | 0.948 8 | 0.990 3 | 0.088 0 | 0.161 6 |
Mirai | 0.932 1 | 0.936 9 | 0.962 9 | 0.949 7 |
Normal | 0.998 8 | 0.991 0 | 0.927 5 | 0.958 1 |
Scan | 0.947 8 | 0.707 0 | 0.936 3 | 0.805 6 |
表4 交叉熵损失函数模型评估
Tab. 4 Cross-entropy loss function model evaluation
类型 | 准确率 | 精确率 | 召回率 | F1-Measure |
---|---|---|---|---|
DoS | 0.999 7 | 0.999 7 | 0.990 7 | 0.995 1 |
ARP | 0.948 8 | 0.990 3 | 0.088 0 | 0.161 6 |
Mirai | 0.932 1 | 0.936 9 | 0.962 9 | 0.949 7 |
Normal | 0.998 8 | 0.991 0 | 0.927 5 | 0.958 1 |
Scan | 0.947 8 | 0.707 0 | 0.936 3 | 0.805 6 |
标签 | 预测 | |||||
---|---|---|---|---|---|---|
DoS | ARP | Mirai | Normal | Scan | 共计 | |
共计 | 17 715 | 21 532 | 111 380 | 12 168 | 25 205 | 188 000 |
DoS | 17 668 | 8 | 7 | 10 | 0 | 17 693 |
ARP | 30 | 10 187 | 75 | 11 | 231 | 10 534 |
Mirai | 7 | 10 355 | 111 081 | 383 | 3 349 | 125 175 |
Normal | 9 | 115 | 71 | 11 752 | 3 | 11 950 |
Scan | 1 | 867 | 146 | 12 | 21 622 | 22 648 |
表5 动态权重损失函数模型分类
Tab. 5 Dynamic weight loss function model classification
标签 | 预测 | |||||
---|---|---|---|---|---|---|
DoS | ARP | Mirai | Normal | Scan | 共计 | |
共计 | 17 715 | 21 532 | 111 380 | 12 168 | 25 205 | 188 000 |
DoS | 17 668 | 8 | 7 | 10 | 0 | 17 693 |
ARP | 30 | 10 187 | 75 | 11 | 231 | 10 534 |
Mirai | 7 | 10 355 | 111 081 | 383 | 3 349 | 125 175 |
Normal | 9 | 115 | 71 | 11 752 | 3 | 11 950 |
Scan | 1 | 867 | 146 | 12 | 21 622 | 22 648 |
类型 | 准确率 | 精确率 | 召回率 | F1-Measure |
---|---|---|---|---|
DoS | 0.999 6 | 0.997 3 | 0.998 5 | 0.997 9 |
ARP | 0.937 8 | 0.473 1 | 0.967 0 | 0.635 3 |
Mirai | 0.923 9 | 0.997 3 | 0.887 4 | 0.939 1 |
Normal | 0.996 7 | 0.965 8 | 0.983 4 | 0.974 5 |
Scan | 0.975 4 | 0.857 8 | 0.954 6 | 0.903 6 |
表6 动态权重损失函数模型评估
Tab. 6 Dynamic weight loss function model evaluation
类型 | 准确率 | 精确率 | 召回率 | F1-Measure |
---|---|---|---|---|
DoS | 0.999 6 | 0.997 3 | 0.998 5 | 0.997 9 |
ARP | 0.937 8 | 0.473 1 | 0.967 0 | 0.635 3 |
Mirai | 0.923 9 | 0.997 3 | 0.887 4 | 0.939 1 |
Normal | 0.996 7 | 0.965 8 | 0.983 4 | 0.974 5 |
Scan | 0.975 4 | 0.857 8 | 0.954 6 | 0.903 6 |
模型 | 时间/μs | 内存/MB | CPU/% | 电量/kWh |
---|---|---|---|---|
CNN | 411.91 | 3.730 | 0.3 | 0.005 |
ANN | 54.09 | 3.144 | 0.3 | 0.004 |
LSTM | 1 355.47 | 1.190 | 0.3 | 0.008 |
CNN-LSTM | 846.10 | 3.870 | 0.7 | 0.007 |
CNN-BiLSTM | 1 066.93 | 3.830 | 0.8 | 0.007 |
表7 不同入侵检测系统能耗比较
Tab. 7 Energy consumption comparison of different intrusion detection systems
模型 | 时间/μs | 内存/MB | CPU/% | 电量/kWh |
---|---|---|---|---|
CNN | 411.91 | 3.730 | 0.3 | 0.005 |
ANN | 54.09 | 3.144 | 0.3 | 0.004 |
LSTM | 1 355.47 | 1.190 | 0.3 | 0.008 |
CNN-LSTM | 846.10 | 3.870 | 0.7 | 0.007 |
CNN-BiLSTM | 1 066.93 | 3.830 | 0.8 | 0.007 |
类型 | 准确率 | 精确率 | 召回率 | F1-Measure |
---|---|---|---|---|
DoS | 0.903 7 | 0.961 5 | 0.738 5 | 0.835 3 |
Probe | 0.940 2 | 0.790 2 | 0.603 8 | 0.684 5 |
U2R | 0.997 1 | — | 0 | — |
R2L | 0.878 3 | — | 0 | — |
Normal | 0.747 5 | 0.693 1 | 0.970 4 | 0.770 6 |
表8 NSL-KDD数据集上交叉熵损失函数模型评估
Tab. 8 Cross-entropy loss function model evaluation on NSL-KDD dataset
类型 | 准确率 | 精确率 | 召回率 | F1-Measure |
---|---|---|---|---|
DoS | 0.903 7 | 0.961 5 | 0.738 5 | 0.835 3 |
Probe | 0.940 2 | 0.790 2 | 0.603 8 | 0.684 5 |
U2R | 0.997 1 | — | 0 | — |
R2L | 0.878 3 | — | 0 | — |
Normal | 0.747 5 | 0.693 1 | 0.970 4 | 0.770 6 |
类型 | 准确率 | 精确率 | 召回率 | F1-measure |
---|---|---|---|---|
DoS | 0.938 9 | 0.966 4 | 0.844 7 | 0.901 4 |
Probe | 0.954 2 | 0.813 1 | 0.742 2 | 0.776 0 |
U2R | 0.995 3 | 0.240 0 | 0.276 9 | 0.257 1 |
R2L | 0.902 4 | 0.944 3 | 0.210 3 | 0.343 9 |
Normal | 0.823 2 | 0.723 6 | 0.963 8 | 0.826 6 |
表9 NSL-KDD数据集动态权重损失函数模型评估
Tab. 9 Dynamic weight loss function model evaluation on NSL-KDD dataset
类型 | 准确率 | 精确率 | 召回率 | F1-measure |
---|---|---|---|---|
DoS | 0.938 9 | 0.966 4 | 0.844 7 | 0.901 4 |
Probe | 0.954 2 | 0.813 1 | 0.742 2 | 0.776 0 |
U2R | 0.995 3 | 0.240 0 | 0.276 9 | 0.257 1 |
R2L | 0.902 4 | 0.944 3 | 0.210 3 | 0.343 9 |
Normal | 0.823 2 | 0.723 6 | 0.963 8 | 0.826 6 |
类型 | 准确率 | 精确率 | 召回率 | F1-Measure |
---|---|---|---|---|
DNN | 0.759 7 | 0.623 9 | 0.509 3 | 0.498 6 |
CNN | 0.754 7 | 0.643 6 | 0.519 2 | 0.514 5 |
DNN FL-NIDS | 0.751 3 | 0.635 1 | 0.487 1 | 0.473 3 |
CNN FL-NIDS | 0.764 3 | 0.765 0 | 0.524 1 | 0.519 6 |
CNN-LSTM | 0.806 9 | 0.836 9 | 0.806 9 | 0.821 6 |
表10 各分类器对比
Tab. 10 Classifier comparison
类型 | 准确率 | 精确率 | 召回率 | F1-Measure |
---|---|---|---|---|
DNN | 0.759 7 | 0.623 9 | 0.509 3 | 0.498 6 |
CNN | 0.754 7 | 0.643 6 | 0.519 2 | 0.514 5 |
DNN FL-NIDS | 0.751 3 | 0.635 1 | 0.487 1 | 0.473 3 |
CNN FL-NIDS | 0.764 3 | 0.765 0 | 0.524 1 | 0.519 6 |
CNN-LSTM | 0.806 9 | 0.836 9 | 0.806 9 | 0.821 6 |
1 | AL-GARADI M A, MOHAMED A, AL-ALI A K, et al. A survey of machine and deep learning methods for Internet of Things (IoT) security[J]. IEEE Communications Surveys and Tutorials, 2020, 22(3):1646-1685. 10.1109/comst.2020.2988293 |
2 | CASSALES G W, SENGER H, DE FARIA E R, et al. IDSA-IoT: an intrusion detection system architecture for IoT networks[C]// Proceedings of the 2019 IEEE Symposium on Computers and Communications. Piscataway: IEEE, 2019: 1-7. 10.1109/iscc47284.2019.8969609 |
3 | ULLAH I, MAHMOUD Q H. A scheme for generating a dataset for anomalous activity detection in IoT networks[C]// Proceedings of the 2020 Canadian Conference on Artificial Intelligence, LNCS 12109. Cham: Springer, 2020: 508-520. 10.3390/electronics9030530 |
4 | THAMILARASU G, CHAWLA S. Towards deep-learning-driven intrusion detection for the Internet of Things[J]. Sensors, 2019, 19(9): No.1977. 10.3390/s19091977 |
5 | WANG Z D, LIU Y D, HE D J, et al. Intrusion detection methods based on integrated deep learning model[J]. Computers and Security, 2021, 103: No.102177. 10.1016/j.cose.2021.102177 |
6 | SHONE N, NGOC T N, PHAI V D, et al. A deep learning approach to network intrusion detection[J]. IEEE Transactions on Emerging Topics in computational Intelligence, 2018, 2(1): 41-50. 10.1109/tetci.2017.2772792 |
7 | HASSAN M M, GUMAEI A, ALSANAD A, et al. A hybrid deep learning model for efficient intrusion detection in big data environment[J]. Information Sciences, 2020, 513: 386-396. 10.1016/j.ins.2019.10.069 |
8 | ALMIANI M, AbuGHAZLEH A, AL-RAHAYFEH A, et al. Deep recurrent neural network for IoT intrusion detection system[J]. Simulation Modelling Practice and Theory, 2020, 101: No.102031. 10.1016/j.simpat.2019.102031 |
9 | VASAN D, ALAZAB M, VENKATRAMAN S, et al. MTHAEL: cross-architecture IoT malware detection based on neural network advanced ensemble learning[J]. IEEE Transactions on Computers, 2020, 69(11): 1654-1667. 10.1109/tc.2020.3015584 |
10 | LI Y M, XU Y Y, LIU Z, et al. Robust detection for network intrusion of industrial IoT based on multi-CNN fusion[J]. Measurement, 2020, 154: No.107450. 10.1016/j.measurement.2019.107450 |
11 | 刘辉,张俊鹏,李清荣. 多尺度卷积与动态权重代价函数的全卷积网络工业烟尘目标分割[J]. 计算机辅助设计与图形学学报, 2020, 32(12):1898-1909. 10.3724/SP.J.1089.2020.18215 |
LIU H, ZHANG J P, LI Q R. Industrial smoke target segmentation based on fully convolutional networks with multiscale convolution and dynamic weight loss function[J]. Journal of Computer-Aided Design and Computer Graphics, 2020, 32(12): 1898-1909. 10.3724/SP.J.1089.2020.18215 | |
12 | 唐小棠. 基于机器学习的入侵检测及其在物联网安全的应用[D]. 上海:上海交通大学, 2019:70-79. |
TANG X T. Learning-based intrusion detection methods and their application to IoT security[D]. Shanghai: Shanghai Jiao Tong University, 2019:70-79. | |
13 | 李超,柴玉梅,南晓斐,等. 基于深度学习的问题分类方法研究[J]. 计算机科学, 2016, 43(12):115-119. 10.11896/j.issn.1002-137X.2016.12.020 |
LI C, CHAI Y M, NAN X F, et al. Research on problem classification method based on deep learning[J]. Computer Science, 2016, 43(12): 115-119. 10.11896/j.issn.1002-137X.2016.12.020 | |
14 | CHAWLA N V, BOWYER K W, HALL L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of Artificial Intelligence Research, 2002, 16: 321-357. 10.1613/jair.953 |
15 | 潘建国,李豪. 基于实用拜占庭容错的物联网入侵检测方法[J]. 计算机应用, 2019, 39(6):1742-1746. 10.11772/j.issn.1001-9081.2018102096 |
PAN J G, LI H. Intrusion detection approach for IoT based on practical Byzantine fault tolerance[J]. Journal of Computer Applications, 2019, 39(6): 1742-1746. 10.11772/j.issn.1001-9081.2018102096 | |
16 | MULYANTO M, FAISAL M, PRAKOSA S W, et al. Effectiveness of focal loss for minority classification in network intrusion detection systems[J]. Symmetry, 2021, 13(1): No.4. 10.3390/sym13010004 |
[1] | 秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974. |
[2] | 王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918. |
[3] | 方介泼, 陶重犇. 应对零日攻击的混合车联网入侵检测系统[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2763-2769. |
[4] | 李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703. |
[5] | 黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969. |
[6] | 潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877. |
[7] | 李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910. |
[8] | 陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499. |
[9] | 赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429. |
[10] | 张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371. |
[11] | 汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399. |
[12] | 刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557. |
[13] | 顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625. |
[14] | 石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650. |
[15] | 赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318. |
阅读次数 | ||||||
全文 |
|
|||||
摘要 |
|
|||||