面向动态事件流的神经网络转换方法

doi:10.11772/j.issn.1001-9081.2021091607

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (10): 3033-3039.DOI: 10.11772/j.issn.1001-9081.2021091607

• 人工智能 • 上一篇

面向动态事件流的神经网络转换方法

张宇豪¹, 袁孟雯², 陆宇婧², 燕锐³, 唐华锦²^,⁴

^1.四川大学计算机学院, 成都 610065
^2.之江实验室智能计算硬件研究中心, 杭州 311100
^3.浙江工业大学计算机科学与技术学院, 杭州 310023
^4.浙江大学计算机科学与技术学院, 杭州 310027

收稿日期:2021-09-10 修回日期:2022-02-16 接受日期:2022-02-21 发布日期:2022-04-15 出版日期:2022-10-10
通讯作者: 燕锐
作者简介:第一联系人：张宇豪（1998—），男，山西运城人，硕士研究生，CCF会员，主要研究方向：神经形态计算、人工智能
袁孟雯（1995—），女，河南信阳人，硕士，CCF会员，主要研究方向：神经形态计算、人工智能
陆宇婧（1997—），女，江苏扬州人，硕士，CCF会员，主要研究方向：神经形态计算、人工智能
燕锐（1975—），女，山西运城人，教授，博士，主要研究方向：脉冲神经网络、神经形态计算、认知机器人; ryan@zjut.edu.cn
唐华锦（1975—），男，安徽淮南人，教授，博士，主要研究方向：神经形态计算、神经形态芯片、智能传感器。
基金资助:
国家自然科学基金委员会-中国工程物理研究院“NSAF”联合基金资助项目(U2030204);国家自然科学基金资助项目(61773271);之江实验室科研攻关项目(2021KC0AC01)

Neural network conversion method for dynamic event stream

Yuhao ZHANG¹, Mengwen YUAN², Yujing LU², Rui YAN³, Huajin TANG²^,⁴

^1.College of Computer Science，Sichuan University，Chengdu Sichuan 610065，China
^2.Research Center for Intelligent Computing Hardware，Zhejiang Laboratory，Hangzhou Zhejiang 311100，China
^3.College of Computer Science and Technology，Zhejiang University of Technology，Hangzhou Zhejiang 310023，China
^4.College of Computer Science and Technology，Zhejiang University，Hangzhou Zhejiang 310027，China

Received:2021-09-10 Revised:2022-02-16 Accepted:2022-02-21 Online:2022-04-15 Published:2022-10-10
Contact: Rui YAN
About author:ZHANG Yuhao，born in 1998， M. S. candidate. His research interests include neuromorphic computing， artificial intelligence.
YUAN Mengwen，born in 1995， M. S. Her research interests include neuromorphic computing， artificial intelligence.
LU Yujing，born in 1997， M. S. Her research interests include neuromorphic computing， artificial intelligence.
YAN Rui，born in 1975， Ph. D. ， professor. Her research interests include spiking neural network， neuromorphic computing， cognitive robot.
TANG Huajin，born in 1975， Ph. D. ， professor. His research interests include neuromorphic computing， neuromorphic chip，intelligent sensor.
Supported by:
Joint Fund “NSAF” of National Natural Science Foundation of China and China Academy of Engineering Physics(U2030204);National Natural Science Foundation of China(61773271);Key Research Project of Zhejiang Lab(2021KC0AC01)

摘要/Abstract

摘要：

针对基于权重归一化方法的卷积神经网络（CNN）转换方法应用于事件流数据时准确率损失较大以及浮点网络难以在硬件上高效部署等问题，提出一种面向动态事件流的网络转换方法。首先，重构事件流数据并输入CNN进行训练，在训练过程中采用量化激活函数降低转换的准确率损失，并使用对称定点量化方法以减少参数存储量；其次，在网络转换中采用脉冲计数等价原理而非频率等价原理以更好地适应数据的稀疏性。实验结果表明，与使用传统激活函数相比，采用量化激活函数的脉冲卷积神经网络（SCNN）在N-MNIST、POKER-DVS和MNIST-DVS这三个动态事件流数据集上的识别准确率分别提高了0.29个百分点、8.52个百分点和3.95个百分点，转换损失分别降低了21.77%、100.00%和92.48%；此外，相较于基于权重归一化方法生成的高精度SCNN，所提量化SCNN在识别准确率相当的情况下可以有效节省约75%的存储空间，并且在N-MNIST和MNIST-DVS数据集上的转换损失分别降低了6.79%和46.29%。

关键词: 神经网络转换, 动态事件流, 量化激活函数, 定点量化, 脉冲卷积神经网络

Abstract:

Since Convolutional Neural Network （CNN） conversion method based on the weight normalization method for event stream data has a large loss of accuracy and the effective deployment of floating-point networks is difficult on hardware， a network conversion method for dynamic event stream was proposed. Firstly， the event stream data was reconstructed as the input of CNN for training. In the training process， the quantized activation function was adopted to reduce the accuracy loss， and a symmetric fixed-point quantization method was used to reduce the parameter storage. Then， instead of equivalence principle， pulse count equivalence principle was used to adapt to the sparsity of data better. Experimental results show that on three datasets N-MNIST， POKER-DVS and MNIST-DVS， compared with using the traditional activation function， Spiking Convolutional Neural Network （SCNN） using the quantized activation function has the recognition accuracy improved by 0.29 percentage points， 8.52 percentage points and 3.95 percentage points respectively， and the conversion loss reduced by 21.77%， 100.00% and 92.48% respectively. Meanwhile， the proposed quantized SCNN can effectively save 75% of storage space compared with high-precision SCNN generated on the basis of the weight normalization method， and has the conversion loss on N-MNIST and MNIST-DVS datasets reduced by 6.79% and 46.29% respectively.

Key words: neural network conversion, dynamic event stream, quantized activation function, fixed-point quantization, Spiking Convolutional Neural Network (SCNN)

中图分类号:

TP183

张宇豪, 袁孟雯, 陆宇婧, 燕锐, 唐华锦. 面向动态事件流的神经网络转换方法[J]. 计算机应用, 2022, 42(10): 3033-3039.

Yuhao ZHANG, Mengwen YUAN, Yujing LU, Rui YAN, Huajin TANG. Neural network conversion method for dynamic event stream[J]. Journal of Computer Applications, 2022, 42(10): 3033-3039.

图/表 11

参考文献 34

1	李家宁，田永鸿. 神经形态视觉传感器的研究进展与应用综述［J］. 计算机学报， 2021， 44（6）：1258-1286. 10.11897/SP.J.1016.2021.01258
	LI J N， TIAN Y H. Recent advances in neuromorphic vision sensors： a survey［J］. Chinese Journal of Computers， 2021， 44（6）：1258-1286. 10.11897/SP.J.1016.2021.01258
2	LICHTSTEINER P， POSCH C， DELBRUCK T. A 128× 128 120 dB 15µs latency asynchronous temporal contrast vision sensor［J］. IEEE Journal of Solid-State Circuits， 2008， 43（2）： 566-576. 10.1109/jssc.2007.914337
3	POSCH C， MATOLIN D， WOHLGENANNT R. A QVGA 143 dB dynamic range frame-free PWM image sensor with lossless pixel-level video compression and time-domain CDS［J］. IEEE Journal of Solid-State Circuits， 2011， 46（1）： 259-275. 10.1109/jssc.2010.2085952
4	BRANDLI C， BERNER R， YANG M H， et al. A 240 × 180 130 dB 3µs latency global shutter spatiotemporal vision sensor［J］. IEEE Journal of Solid-State Circuits， 2014， 49（10）： 2333-2341. 10.1109/jssc.2014.2342715
5	SON B， SUH Y， KIM S， et al. 4.1 A 640×480 dynamic vision sensor with a 9µm pixel and 300Meps address-event representation［C］// Proceedings of the 2017 IEEE International Solid-State Circuits Conference. Piscataway： IEEE， 2017： 66-67. 10.1109/isscc.2017.7870263
6	LeCUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324. 10.1109/5.726791
7	BARUA S， MIYATANI Y， VEERARAGHAVAN A. Direct face detection and video reconstruction from event cameras［C］// Proceedings of the 2016 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2016： 1-9. 10.1109/wacv.2016.7477561
8	MAASS W. Networks of spiking neurons： the third generation of neural network models［J］. Neural Networks， 1997， 10（9）： 1659-1671. 10.1016/s0893-6080(97)00011-7
9	FURBER S B， GALLUPPI F， TEMPLE S， et al. The SpiNNaker project［J］. Proceedings of the IEEE， 2014， 102（5）： 652-665. 10.1109/jproc.2014.2304638
10	MEROLLA P A， ARTHUR J V， ALVAREZ-ICAZA R， et al. A million spiking-neuron integrated circuit with a scalable communication network and interface［J］. Science， 2014， 345（6197）： 668-673. 10.1126/science.1254642
11	DAVIES M， SRINIVASA N， LIN T H， et al. Loihi： a neuromorphic manycore processor with on-chip learning［J］. IEEE Micro， 2018， 38（1）： 82-99. 10.1109/mm.2018.112130359
12	MA D， SHEN J C， GU Z H， et al. Darwin： a neuromorphic hardware co-processor based on spiking neural networks［J］. Journal of Systems Architecture， 2017， 77： 43-51. 10.1016/j.sysarc.2017.01.003
13	PEI J， DENG L， SONG S， et al. Towards artificial general intelligence with hybrid Tianjic chip architecture［J］. Nature， 2019， 572（7767）： 106-111. 10.1038/s41586-019-1424-8
14	RIESENHUBER M， POGGIO T. Hierarchical models of object recognition in cortex［J］. Nature Neuroscience， 1999， 2（11）： 1019-1025. 10.1038/14819
15	ZHAO B， DING R X， CHEN S S， et al. Feedforward categorization on AER motion events using cortex-like features in a spiking neural network［J］. IEEE Transactions on Neural Networks and Learning Systems， 2015， 26（9）： 1963-1978. 10.1109/tnnls.2014.2362542
16	ORCHARD G， MEYER C， ETIENNE-CUMMINGS R， et al. HFirst： a temporal approach to object recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（10）： 2028-2040. 10.1109/tpami.2015.2392947
17	XIAO R， TANG H J， MA Y H， et al. An event-driven categorization model for AER image sensors using multispike encoding and learning［J］. IEEE Transactions on Neural Networks and Learning Systems， 2020， 31（9）： 3649-3657. 10.1109/tnnls.2019.2945630
18	LAGORCE X， ORCHARD G， GALLUPPI F， et al. HOTS： a hierarchy of event-based time-surfaces for pattern recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（7）： 1346-1359. 10.1109/tpami.2016.2574707
19	SIRONI A， BRAMBILLA M， BOURDIS N， et al. HATS： histograms of averaged time surfaces for robust event-based object classification［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 1731-1740. 10.1109/cvpr.2018.00186
20	SHRESTHA S B， ORCHARD G. SLAYER： spike layer error reassignment in time［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018： 1419-1428.
21	WU Y J， DENG L， LI G Q， et al. Spatio-temporal backpropagation for training high-performance spiking neural networks［J］. Frontiers in Neuroscience， 2018， 12： No.331. 10.3389/fnins.2018.00331
22	GU P J， XIAO R， PAN G， et al. STCA： spatio-temporal credit assignment with delayed feedback in deep spiking neural networks［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2019： 1366-1372. 10.24963/ijcai.2019/189
23	CAO Y Q， CHEN Y， KHOSLA D. Spiking deep convolutional neural networks for energy-efficient object recognition［J］. International Journal of Computer Vision， 2015， 113（1）： 54-66. 10.1007/s11263-014-0788-3
24	DIEHL P U， NEIL D， BINAS J， et al. Fast-classifying， high-accuracy spiking deep networks through weight and threshold balancing［C］// Proceedings of the 2015 International Joint Conference on Neural Networks. Piscataway： IEEE， 2015： 1-8. 10.1109/ijcnn.2015.7280696
25	SORBARO M， LIU Q， BORTONE M， et al. Optimizing the energy consumption of spiking neural networks for neuromorphic applications［J］. Frontiers in Neuroscience， 2020， 14： No.662. 10.3389/fnins.2020.00662
26	RUMELHART D E， HINTON G E， WILLIAMS R J. Learning representations by back-propagating errors［J］. Nature， 1986， 323（6088）： 533-536. 10.1038/323533a0
27	HODGKIN A L， HUXLEY A F. A quantitative description of membrane current and its application to conduction and excitation in nerve［J］. The Journal of Physiology， 1952， 117（4）： 500-544. 10.1113/jphysiol.1952.sp004764
28	IZHIKEVICH E M. Which model to use for cortical spiking neurons？［J］. IEEE Transactions on Neural Networks， 2004， 15（5）： 1063-1070. 10.1109/tnn.2004.832719
29	BURKITT A N. A review of the integrate-and-fire neuron model： I. homogeneous synaptic input［J］. Biological Cybernetics， 2006， 95（1）： 1-19. 10.1007/s00422-006-0068-6
30	LAZZARO J， WAWRZYNEK J， MAHOWALD M， et al. Silicon auditory processors as computer peripherals［J］. IEEE Transactions on Neural Networks， 1993， 4（3）： 523-528. 10.1109/72.217193
31	COURBARIAUX M， BENGIO Y， DAVID J P. BinaryConnect： training deep neural networks with binary weights during propagations［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 3123-3131.
32	JACOB B， KLIGYS S， CHEN B， et al. Quantization and training of neural networks for efficient integer-arithmetic-only inference［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 2704-2713. 10.1109/cvpr.2018.00286
33	ORCHARD G， JAYAWANT A， COHEN G K， et al. Converting static image datasets to spiking neuromorphic datasets using saccades［J］. Frontiers in Neuroscience， 2015， 9： No.437. 10.3389/fnins.2015.00437
34	SERRANO-GOTARREDONA T， LINARES-BARRANCO B. Poker-DVS and MNIST-DVS. Their history， how they were made， and other details［J］. Frontiers in Neuroscience， 2015， 9： No.481. 10.3389/fnins.2015.00481

数据集	激活函数	识别准确率		网络转换损失
数据集	激活函数	CNN	SCNN	网络转换损失
N-MNIST	ReLU	99.09±0.08	97.85±0.20	1.24
N-MNIST	QReLU	99.11±0.04	98.14±0.17	0.97
POKER-DVS	ReLU	100.00±0.00	90.37±2.96	9.63
POKER-DVS	QReLU	98.15±2.48	98.89±1.70	0.00
MNIST-DVS	ReLU	98.22±0.22	93.43±2.82	4.79
MNIST-DVS	QReLU	97.74±0.12	97.38±0.21	0.36

数据集	激活函数	识别准确率		网络转换损失
数据集	激活函数	CNN	SCNN	网络转换损失
N-MNIST	ReLU	99.09±0.08	97.85±0.20	1.24
N-MNIST	QReLU	99.11±0.04	98.14±0.17	0.97
POKER-DVS	ReLU	100.00±0.00	90.37±2.96	9.63
POKER-DVS	QReLU	98.15±2.48	98.89±1.70	0.00
MNIST-DVS	ReLU	98.22±0.22	93.43±2.82	4.79
MNIST-DVS	QReLU	97.74±0.12	97.38±0.21	0.36

数据集	平均余弦相似度
数据集	ReLU	QReLU
N-MNIST	0.862±0.018	0.852±0.011
POKER-DVS	0.802±0.036	0.993±0.002
MINST-DVS	0.956±0.018	0.973±0.013

数据集	平均余弦相似度
数据集	ReLU	QReLU
N-MNIST	0.862±0.018	0.852±0.011
POKER-DVS	0.802±0.036	0.993±0.002
MINST-DVS	0.956±0.018	0.973±0.013

数据集	高精度SCNN		量化SCNN		参数压缩率/%
数据集	权重存储量/Mb	阈值存储量/b	权重存储量/Mb	阈值存储量/b	参数压缩率/%
N-MNIST	16.62	1	4.15	8	74.98
POKER-DVS	16.60	1	4.15	8	74.95
MNIST-DVS	16.78	1	4.19	8	74.98

面向动态事件流的神经网络转换方法

Neural network conversion method for dynamic event stream

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 34

相关文章 1

编辑推荐

Metrics

数据集	方法	识别准确率		网络转换损失
数据集	方法	CNN	SCNN	网络转换损失
N-MNIST	训练后量化	99.11±0.03	98.14±0.17	0.97
N-MNIST	训练中量化	99.10±0.04	98.14±0.22	0.96
POKER-DVS	训练后量化	98.15±2.48	98.52±2.46	0.00
POKER-DVS	训练中量化	98.52±2.46	98.89±1.70	0.00
MNIST-DVS	训练后量化	97.70±0.12	97.36±0.24	0.34
MNIST-DVS	训练中量化	97.79±0.18	97.50±0.25	0.29

数据集	方法	识别准确率		网络转换损失
数据集	方法	CNN	SCNN	网络转换损失
N-MNIST	权重归一化^［24］	98.79±0.07	97.76±0.11	1.03
	本文方法（无量化）	99.11±0.04	98.14±0.17	0.97
	本文方法（量化）	99.10±0.04	98.14±0.22	0.96
POKER- DVS	权重归一化^［24］	100.00±0.00	100.00±0.00	0.00
	本文方法（无量化）	98.15±2.48	98.89±1.70	0.00
	本文方法（量化）	98.52±2.46	98.89±1.70	0.00
MNIST- DVS	权重归一化^［24］	98.06±0.23	97.52±0.25	0.54
	本文方法（无量化）	97.74±0.12	97.38±0.21	0.36
	本文方法（量化）	97.79±0.18	97.50±0.25	0.29

数据集	方法	识别准确率		网络转换损失
数据集	方法	CNN	SCNN	网络转换损失
N-MNIST	权重归一化^［24］	98.79±0.07	97.76±0.11	1.03
	本文方法（无量化）	99.11±0.04	98.14±0.17	0.97
	本文方法（量化）	99.10±0.04	98.14±0.22	0.96
POKER- DVS	权重归一化^［24］	100.00±0.00	100.00±0.00	0.00
	本文方法（无量化）	98.15±2.48	98.89±1.70	0.00
	本文方法（量化）	98.52±2.46	98.89±1.70	0.00
MNIST- DVS	权重归一化^［24］	98.06±0.23	97.52±0.25	0.54
	本文方法（无量化）	97.74±0.12	97.38±0.21	0.36
	本文方法（量化）	97.79±0.18	97.50±0.25	0.29