基于混合机制的深度神经网络压缩算法

doi:10.11772/j.issn.1001-9081.2022091392

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (9): 2686-2691.DOI: 10.11772/j.issn.1001-9081.2022091392

• 2022第10届CCF大数据学术会议 • 上一篇下一篇

基于混合机制的深度神经网络压缩算法

赵旭剑(), 李杭霖

西南科技大学计算机科学与技术学院，四川绵阳 621010

收稿日期:2022-09-19 修回日期:2022-10-24 接受日期:2022-10-27 发布日期:2023-01-10 出版日期:2023-09-10
通讯作者: 赵旭剑
作者简介:李杭霖（2000—），女，四川成都人，硕士研究生，主要研究方向：深度学习、神经网络压缩。
基金资助:
教育部人文社会科学基金资助项目(17YJCZH260);四川省科学技术厅重点研发项目(2020YFS0057);赛尔网络下一代互联网技术创新项目(NGII20180403)

Deep neural network compression algorithm based on hybrid mechanism

Xujian ZHAO(), Hanglin LI

School of Computer Science and Technology，Southwest University of Science and Technology，Mianyang Sichuan 621010，China

Received:2022-09-19 Revised:2022-10-24 Accepted:2022-10-27 Online:2023-01-10 Published:2023-09-10
Contact: Xujian ZHAO
About author:LI Hanglin， born in 2000， M. S. candidate. Her research interests include deep learning， neural network compression.
Supported by:
Humanities and Social Science Foundation of Ministry of Education(17YJCZH260);Key Research and Development Project of Science and Technology Department of Sichuan Province(2020YFS0057);CERNET Innovation Project(NGII20180403)

摘要/Abstract

摘要：

近年来人工智能（AI）应用飞速发展，嵌入式设备与移动设备等有限资源设备对深度神经网络（DNN）的需求急剧增加。如何在不影响DNN效果的基础上对神经网络进行压缩具有极大理论与现实意义，也是当下深度学习的热门研究话题。首先，针对DNN因模型大、计算量大而难以移植至移动设备等有限资源设备的问题，深入分析已有DNN压缩算法在内存占用、运行速度及压缩效果等方面的实验性能，从而挖掘DNN压缩算法的影响要素；然后，设计学生网络和教师网络组成的知识迁移结构，融合知识蒸馏、结构设计、网络剪枝和参数量化机制，提出基于混合机制的DNN优化压缩算法。在mini-ImageNet数据集上以AlexNet为Benchmark，进行实验比较与分析。实验结果表明，所提算法在压缩结果的准确率降低6.3%的情况下，使压缩后的AlexNet的容量减小98.5%，验证了所提算法的有效性。

关键词: 深度神经网络, 网络压缩, 网络剪枝, 知识蒸馏, 参数量化

Abstract:

With the rapid development of Artificial Intelligence （AI） in recent years， the demand for Deep Neural Network （DNN） from devices with limited resources such as embedded devices and mobile devices has increased sharply. The problem of how to compress neural networks without affecting the effect of DNNs has great theoretical and practical significance， and is a hot research topic in deep learning now. Firstly， aiming at the problem that DNN is difficult to be ported to resource-limited devices such as mobile devices due to their large models and large computational cost， the experimental performance of existing DNN compression algorithms in terms of memory usage， running speed， and compression effect was deeply analyzed， so that the influence factors of the DNN compression algorithm were explored. Then， the knowledge transfer structure composed of student network and teacher network was designed， the knowledge distillation， structural design， network pruning， and parameter quantization mechanisms were fused together， and a DNN optimization and compression model based on hybrid mechanism was proposed. Experimental comparison and analysis were conducted on mini-ImageNet dataset using AlexNet as the Benchmark. Experimental results show that the capacity of compressed AlexNet is reduced by 98.5% with 6.3% loss of accuracy， which verify the effectiveness of the proposed algorithm.

Key words: Deep Neural Network (DNN), network compression, network pruning, knowledge distillation, parameter quantization

中图分类号:

TP183

赵旭剑, 李杭霖. 基于混合机制的深度神经网络压缩算法[J]. 计算机应用, 2023, 43(9): 2686-2691.

Xujian ZHAO, Hanglin LI. Deep neural network compression algorithm based on hybrid mechanism[J]. Journal of Computer Applications, 2023, 43(9): 2686-2691.

图/表 15

表1 经典神经网络对比

Tab. 1 Comparison of classical neural networks

模型	层数	规模/MB	参数量/10⁶	错误率/%
AlexNet（原始）	8	>200	60.0	16.40
Visual Geometry Group	19	>500	138.0	7.32
GoogLeNet	22	≈50	6.8	6.67
ResNet	152	230	19.4	3.57

表2 不同压缩算法对AlexNet的压缩结果对比

Tab. 2 Compression results of different compression algorithms on AlexNet

算法	准确率/%	压缩比	加速比
AlexNet	68.55	—	—
网络剪枝	66.44	1.03	1.09
线性参数量化	24.46	1.05	1.10
K-means参数量化	64.93	1.05	1.11
知识蒸馏	69.16	20.45	1.16
分组卷积	58.42	1.05	1.02

表3 压缩算法实验结果

Tab. 3 Experimental results of compression algorithms

算法	准确率/%	压缩比	加速比	容量/MB
AlexNet（原始）	68.55	—	—	177.08
KD	64.93	20.45	1.11	—
KD+GC	66.74	50.11	1.06	—
KD+GC+NP	64.56	66.92	1.04	—
KD+GC+NP+CQ	64.25	89.42	1.08	2.65

图1 本文算法的模型结构

Fig. 1 Model structure of the proposed algorithm

图2 知识蒸馏流程

Fig. 2 Process of knowledge distillation

图3 经过知识蒸馏的神经网络的结果对比

Fig. 3 Comparison of results of neural networks after knowledge distillation

图4 深度可分离卷积

Fig. 4 Depthwise separable convolution

图5 分组卷积

Fig. 5 Group convolution

图6 网络剪枝流程

Fig. 6 Flow of network pruning

图7 基于K-means的参数量化设计

Fig. 7 Parameter quantization design based on K-means

图8 mini-ImageNet的数据架构

Fig. 8 Data architecture of mini-ImageNet

图9 数据示例

Fig. 9 Examples of data

图10 不同删减阈值情况下的实验结果比较

Fig. 10 Comparison of experimental results under different deletion thresholds

图11 不同量化比特数情况下的实验结果比较

Fig. 11 Comparison of experimental results under different quantization bit numbers

图12 不同分组情况下的准确率损失对比

Fig. 12 Comparison of accuracy loss under different grouping conditions

参考文献 17

1	DENIL M， SHAKIBI B， DINH L， et al. Predicting parameters in deep learning［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems - Volume 2. Red Hook， NY： Curran Associates Inc.， 2013： 2148-2156.
2	SETIONO R， LIU H. Neural-network feature selector［J］. IEEE Transactions on Neural Networks， 1997， 8（3）： 654-662. 10.1109/72.572104
3	LeCUN Y， DENKER J S， SOLLA S A. Optimal brain damage［M］// Advances in Neural Information Processing Systems 2. San Francisco： Morgan Kaufmann Publishers Inc.， 1990： 598-605.
4	WANG Y L， ZHANG X L， XIE L X， et al. Pruning from scratch［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 12273-12280. 10.1609/aaai.v34i07.6910
5	DONG X Y， YANG Y. Network pruning via transformable architecture search［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2019： 760-771. 10.1109/iccv.2019.00378
6	CHEN J T， ZHU Z C， LI C， et al. Self-adaptive network pruning［C］// Proceedings of the 2019 International Conference on Neural Information Processing， LNCS 11953. Cham： Springer， 2019： 175-186.
7	WEN W， WU C P， WANG Y D， et al. Learning structured sparsity in deep neural networks［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2016： 2082-2090.
8	HINTON G， VINYALS O， DEAN J. Distilling the knowledge in a neural network［EB/OL］. （2015-03-09）［2022-05-14］..
9	REMERO A， BALLAS N， KAHOU S E， et al. FitNets： hints for thin deep nets［EB/OL］. （2015-03-27）［2022-04-03］..
10	VANHOUCKE V， SENIOR A， MAO M Z. Improving the speed of neural networks on CPUs［EB/OL］. ［2022-02-15］..
11	HWANG K， SUNG W. Fixed-point feedforward deep neural network design using weights +1， 0， and -1［C］// Proceedings of the 2014 IEEE Workshop on Signal Processing Systems. Piscataway： IEEE， 2014： 1-6. 10.1109/sips.2014.6986082
12	CHEN W L， WILSON J T， TYREE S， et al. Compressing neural networks with the hashing trick［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 2285-2294. 10.1145/2939672.2939839
13	CHEN W L， WILSON J T， TYREE S， et al. Compressing convolutional neural networks［EB/OL］. （2015-06-14）［2022-03-11］.. 10.1145/2939672.2939839
14	GONG Y C， LIU L， YANG M， et al. Compressing deep convolutional networks using vector quantization［EB/OL］. （2014-12-18）［2021-11-06］..
15	IANDOLA F N， HAN S， MOSKEWICZ M W， et al. SqueezeNet： AlexNet-level accuracy with 50x fewer parameters and < 0.5 MB model size［EB/OL］. （2016-11-04）［2022-01-03］..
16	HOWARD A G， ZHU M L， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications［EB/OL］. （2017-04-17）［2022-05-11］.. 10.48550/arXiv.1704.04861
17	ZHANG X Y， ZHOU X Y， LIN M X， et al. ShuffleNet： an extremely efficient convolutional neural network for mobile devices［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 6848-6856. 10.1109/cvpr.2018.00716

[1]	申云飞, 申飞, 李芳, 张俊. 基于张量虚拟机的深度神经网络模型加速方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2836-2844.
[2]	李校林, 杨松佳. 基于深度学习的多用户毫米波中继网络混合波束赋形[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2511-2516.
[3]	李淦, 牛洺第, 陈路, 杨静, 闫涛, 陈斌. 融合视觉特征增强机制的机器人弱光环境抓取检测[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2564-2571.
[4]	姬张建, 张明, 王子龙. 基于改进VarifocalNet的高精度目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2147-2154.
[5]	杨海宇, 郭文普, 康凯. 基于卷积长短时深度神经网络的信号调制方式识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1318-1322.
[6]	刘小宇, 陈怀新, 刘壁源, 林英, 马腾. 自适应置信度阈值的非限制场景车牌检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 67-73.
[7]	高媛媛, 余振华, 杜方, 宋丽娟. 基于贝叶斯优化的无标签网络剪枝算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 30-36.
[8]	李坤, 侯庆. 基于注意力机制的轻量型人体姿态估计[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2407-2414.
[9]	王晓雨, 王展青, 熊威. 深度非对称离散跨模态哈希方法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2461-2470.
[10]	杨博, 张恒巍, 李哲铭, 徐开勇. 基于图像翻转变换的对抗样本生成方法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2319-2325.
[11]	玄英律, 万源, 陈嘉慧. 基于多尺度卷积和注意力机制的LSTM时间序列分类[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2343-2352.
[12]	贺怀清, 闫建青, 惠康华. 基于深度残差网络的轻量级人脸识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2030-2036.
[13]	毛文涛, 吴桂芳, 吴超, 窦智. 基于中国写意风格迁移的动漫视频生成模型[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2162-2169.
[14]	陈荣源, 姚剑敏, 严群, 林志贤. 基于深度神经网络的视频播放速度识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2043-2051.
[15]	于蒙, 何文涛, 周绪川, 崔梦天, 吴克奇, 周文杰. 推荐系统综述[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1898-1913.

基于混合机制的深度神经网络压缩算法

Deep neural network compression algorithm based on hybrid mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 17

相关文章 15

编辑推荐

Metrics