基于渐进式神经网络架构搜索的人体运动识别

doi:10.11772/j.issn.1001-9081.2021050798

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2058-2064.DOI: 10.11772/j.issn.1001-9081.2021050798

• 人工智能 • 上一篇

基于渐进式神经网络架构搜索的人体运动识别

王震宇, 张雷(), 高文彬, 权威铭

南京师范大学电气与自动化工程学院，南京 210023

收稿日期:2021-05-17 修回日期:2021-09-13 接受日期:2021-09-22 发布日期:2021-09-13 出版日期:2022-07-10
通讯作者: 张雷
作者简介:王震宇（1996—），男，江苏扬州人，硕士研究生，主要研究方向：深度学习、模式识别、自然语言处理
高文彬（1996—），男，江苏盐城人，硕士研究生，主要研究方向：计算机视觉、信号处理、目标检测
权威铭（1996—），男，安徽宿州人，硕士研究生，主要研究方向：人工智能。
基金资助:
国家自然科学基金资助项目(61971228);江苏省自然科学基金资助项目(BK20191371)

Human activity recognition based on progressive neural architecture search

Zhenyu WANG, Lei ZHANG(), Wenbin GAO, Weiming QUAN

School of Electrical and Automation Engineering，Nanjing Normal University，Nanjing Jiangsu 210023，China

Received:2021-05-17 Revised:2021-09-13 Accepted:2021-09-22 Online:2021-09-13 Published:2022-07-10
Contact: Lei ZHANG
About author:WANG Zhenyu， born in 1996， M. S. candidate. His research interests include deep learning， pattern recognition， natural language processing.
GAO Wenbin， born in 1996， M. S. candidate. His research interests include computer vision， signal processing， object detection.
QUAN Weiming， born in 1996， M. S. candidate. His research interests include artificial intelligence.
Supported by:
National Natural Science Foundation of China(61971228);Natural Science Foundation of Jiangsu Province(BK20191371)

摘要/Abstract

摘要：

为了解决基于传感器数据的运动识别问题，利用深度卷积神经网络（CNN）在公开的OPPORTUNITY传感器数据集上进行运动识别，提出了一种改进的渐进式神经网络架构搜索（PNAS）算法。首先，神经网络模型设计过程中不再依赖于合适拓扑结构的手动选择，而是通过PNAS算法来设计最优拓扑结构以最大化F1分数；其次，使用基于序列模型的优化（SMBO）策略，在该策略中将按照复杂度从低到高的顺序搜索结构空间，同时学习一个代理函数以引导对结构空间的搜索；最后，将搜索过程中表现最好的20个模型在OPPORTUNIT数据集上进行完全训练，并从中选出表现最好的模型作为搜索到的最优架构。通过这种方式搜索到的最优架构在OPPORTUNITY数据集上的F1分数达到了93.08%，与进化算法搜索到的最优架构及DeepConvLSTM相比分别提升了1.34%和1.73%，证明该方法能够改进以前手工设计的模型结构，且是可行有效的。

关键词: 人体运动识别, 深度学习, 神经网络架构搜索, 卷积神经网络, 基于序列模型的优化

Abstract:

Concerning the sensor data based activity recognition problem， deep Convolutional Neural Network （CNN） was used to perform activity recognition on public OPPORTUNITY sensor dataset， and an improved Progressive Neural Architecture Search （PNAS） algorithm was proposed. Firstly， in the process of neural network model design， without manual selection of suitable topology， PNAS algorithm was used to design the optimal topology in order to maximize the F1 score. Secondly， a Sequential Model-Based Optimization （SMBO） strategy was used， in which the structure space was searched in the order of low complexity to high complexity， while a surrogate function was learned to guide the search of the structure space. Finally， the top 20 models with the best performance in the search process were fully trained on OPPORTUNIT dataset， and the best performing model was selected as the optimal architecture searched. The F1 score of the optimal architecture searched in this way reaches 93.08% on OPPORTUNITY dataset， which is increased by 1.34% and 1.73% respectively compared with those of the optimal architecture searched by evolutionary algorithm and DeepConvlSTM， which indicates that the proposed method can improve previously manually-designed architectures and is feasible and effective.

Key words: Human Activity Recognition （HAR）, deep learning, Neural Architecture Search （NAS）, Convolutional Neural Network （CNN）, Sequential Model-Based Optimization （SMBO）

中图分类号:

TP391.4

王震宇, 张雷, 高文彬, 权威铭. 基于渐进式神经网络架构搜索的人体运动识别[J]. 计算机应用, 2022, 42(7): 2058-2064.

Zhenyu WANG, Lei ZHANG, Wenbin GAO, Weiming QUAN. Human activity recognition based on progressive neural architecture search[J]. Journal of Computer Applications, 2022, 42(7): 2058-2064.

图/表 9

参考文献 25

1	郑浦，白宏阳，李政茂，等. 抖动干扰下运动目标精准检测与跟踪算法设计［J］. 仪器仪表学报， 2019， 40（11）：90-98.
	ZHENG P， BAI H Y， LI Z M， et al. Design of accurate detection and tracking algorithm for moving target under jitter interference［J］. Chinese Journal of Scientific Instrument， 2019， 40（11）： 90-98.
2	吴天舒，陈蜀宇，吴朋. 全生命周期健康监测诊断系统研究［J］. 仪器仪表学报， 2018， 39（8）：204-211.
	WU T S， CHEN S Y， WU P. Research on the life cycle health monitoring and diagnosis system［J］. Chinese Journal of Scientific Instrument， 2018， 39（8）： 204-211.
3	ALAA M， ZAIDAN A A， ZAIDAN B B， et al. A review of smart home applications based on internet of things［J］. Journal of Network and Computer Applications， 2017， 97： 48-65. 10.1016/j.jnca.2017.08.017
4	CORNACCHIA M， OZCAN K， ZHENG Y， et al. A survey on activity detection and classification using wearable sensors［J］. IEEE Sensors Journal， 2017， 17（2）： 386-403. 10.1109/jsen.2016.2628346
5	ORDÓÑEZ F J， ROGGEN D. Deep convolutional and LSTM recurrent neural networks for multimodal wearable activity recognition［J］. Sensors， 2016， 16（1）： No.115. 10.3390/s16010115
6	HAMMERLA N Y， HALLORAN S， PLÖTZ T. Deep， convolutional， and recurrent models for human activity recognition using wearables［C］// Proceedings of the 25th International Joint Conference on Artificial Intelligence. California： IJCAI.org， 2016： 1533-1540.
7	WANG K， HE J， ZHANG L. Attention-based convolutional neural network for weakly labeled human activities’ recognition with wearable sensors［J］. IEEE Sensors Journal， 2019， 19（17）： 7598-7604. 10.1109/jsen.2019.2917225
8	TENG Q， WANG K， ZHANG L， et al. The layer-wise training convolutional neural networks using local loss for sensor-based human activity recognition［J］. IEEE Sensors Journal， 2020， 20（13）： 7265-7274. 10.1109/jsen.2020.2978772
9	郑增威，杜俊杰，霍梅梅，等. 基于可穿戴传感器的人体活动识别研究综述［J］. 计算机应用， 2018， 38（5）：1223-1229， 1238. 10.3390/s22051911
	ZHENG Z W， DU J J， HUO M M， et al， Review of human activity recognition based on wearable sensors［J］. Journal of Computer Applications， 2018， 38（5）： 1223-1229， 1238. 10.3390/s22051911
10	STANLEY K O， MIIKKULAINEN R. Evolving neural networks through augmenting topologies［J］. Evolutionary Computation， 2002， 10（2）： 99-127. 10.1162/106365602320169811
11	REAL E， MOORE S， SELLE A， et al. Large-scale evolution of image classifiers［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 2902-2911.
12	SUGANUMA M， SHIRAKAWA S， NAGAO T. A genetic programming approach to designing convolutional neural network architectures［C］// Proceedings of the 2017 Genetic and Evolutionary Computation Conference. New York： ACM， 2017： 497-504. 10.1145/3071178.3071229
13	ELSKEN T， METZEN J H， HUTTER F. Efficient multi-objective neural architecture search via Lamarckian evolution［EB/OL］. （2019-02-26）［2021-05-17］.. 10.1007/978-3-030-05318-5_3
14	WILLIAMS R J. Simple statistical gradient-following algorithms for connectionist reinforcement learning［J］. Machine Learning， 1992， 8（3/4）： 229-256. 10.1007/bf00992696
15	BAKER B， GUPTA O， NAIK N， et al. Designing neural network architectures using reinforcement learning［EB/OL］. （2017-03-22）［2021-05-17］..
16	ZOPH B， LE QUOC V. Neural architecture search with reinforcement learning［EB/OL］. （2017-02-15）［2021-05-17］..
17	ZOPH B， VASUDEVAN V， SHLENS J， et al. Learning transferable architectures for scalable image recognition［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8697-8710. 10.1109/cvpr.2018.00907
18	LIU C X， ZOPH B， NEUMANN M， et al. Progressive neural architecture search［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11205. Cham： Springer， 2018： 19-35.
19	BALDOMINOS A， SAEZ Y， ISASI P. Evolutionary design of convolutional neural networks for human activity recognition in sensor-rich environments［J］. Sensors， 2018， 18（4）： No.1288. 10.3390/s18041288
20	NEGRINHO R， GORDON G. DeepArchitect： automatically designing and training deep architectures［EB/OL］. （2017-04-28）［2021-05-17］..
21	BROCK A， LIM T， RITCHIE J M， et al. SMASH： one-shot model architecture search through HyperNetworks［EB/OL］. （2017-08-17）［2021-05-17］..
22	DOMHAN T， SPRINGENBERG J T， HUTTER F. Speeding up automatic hyperparameter optimization of deep neural networks by extrapolation of learning curves［C］// Proceedings of the 24th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015： 3460-3468.
23	BAKER B， GUPTA O， RASKAR R， et al. Accelerating neural architecture search using performance prediction［EB/OL］. （2017-11-08）［2021-05-17］..
24	CHAVARRIAGA R， SAGHA H， CALATRONI A， et al. The opportunity challenge： a benchmark database for on-body sensor-based activity recognition［J］. Pattern Recognition Letters， 2013， 34（15）： 2033-2042. 10.1016/j.patrec.2012.12.014
25	YANG J B， NGUYEN M N， SAN P P， et al. Deep convolutional neural networks on multichannel time series for human activity recognition［C］// Proceedings of the 24th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015： 3995-4001.

数据类型	数目
合计	21 144
无动作	15 152
开门1	348
开门2	370
关门1	327
关门2	352
打开冰箱	442
关闭冰箱	379
打开洗碗机	293
关闭洗碗机	266
打开抽屉1	204
关闭抽屉1	176
打开抽屉2	201
关闭抽屉2	163
打开抽屉3	242
关闭抽屉3	234
擦桌子	377
喝水	1 341
拨开关	277

数据类型	数目
合计	21 144
无动作	15 152
开门1	348
开门2	370
关门1	327
关门2	352
打开冰箱	442
关闭冰箱	379
打开洗碗机	293
关闭洗碗机	266
打开抽屉1	204
关闭抽屉1	176
打开抽屉2	201
关闭抽屉2	163
打开抽屉3	242
关闭抽屉3	234
擦桌子	377
喝水	1 341
拨开关	277

准确度	组合1		组合2		组合3
准确度	操作1	操作2	操作1	操作2	操作1	操作2
0.943 8	3×5-5×3	3×5-5×3	5×5-5×5	3×3-3×3	5×5-5×5	3×3-3×3
0.943 8	5×5-5×5	3×3-3×3
0.943 2	3×5-5×3	3×3-3×3	5×5-5×5	5×5-5×5	5×5-5×5	3×3-3×3
0.943 2	5×5-5×5	2×6-6×2	5×5-5×5	3×3-3×3
0.942 6	1×3-3×1	3×3-3×3	5×5-5×5	5×5-5×5	5×5-5×5	3×3-3×3
0.942 6	5×5-5×5	2×6-6×2	5×5-5×5	3×3-3×3
0.942 0	3×5-5×3	5×5-5×5	5×5-5×5	3×3-3×3	5×5-5×5	3×3-3×3
0.942 0	5×5-5×5	1×7-7×1	5×5-5×5	3×3-3×3
0.941 5	3×5-5×3	5×5-5×5	3×5-5×3	5×5-5×5	3×5-5×3	5×5-5×5
0.941 5	3×5-5×3	1×7-7×1	3×5-5×3	5×5-5×5

准确度	组合1		组合2		组合3
准确度	操作1	操作2	操作1	操作2	操作1	操作2
0.943 8	3×5-5×3	3×5-5×3	5×5-5×5	3×3-3×3	5×5-5×5	3×3-3×3
0.943 8	5×5-5×5	3×3-3×3
0.943 2	3×5-5×3	3×3-3×3	5×5-5×5	5×5-5×5	5×5-5×5	3×3-3×3
0.943 2	5×5-5×5	2×6-6×2	5×5-5×5	3×3-3×3
0.942 6	1×3-3×1	3×3-3×3	5×5-5×5	5×5-5×5	5×5-5×5	3×3-3×3
0.942 6	5×5-5×5	2×6-6×2	5×5-5×5	3×3-3×3
0.942 0	3×5-5×3	5×5-5×5	5×5-5×5	3×3-3×3	5×5-5×5	3×3-3×3
0.942 0	5×5-5×5	1×7-7×1	5×5-5×5	3×3-3×3
0.941 5	3×5-5×3	5×5-5×5	3×5-5×3	5×5-5×5	3×5-5×3	5×5-5×5
0.941 5	3×5-5×3	1×7-7×1	3×5-5×3	5×5-5×5

编号	平均数	标准差	中位数	最小值	最大值
1	0.919 522	0.005 528	0.920 868	0.902 169	0.927 428
2	0.920 135	0.006 067	0.922 891	0.900 702	0.925 996
3	0.924 570	0.004 411	0.926 382	0.906 374	0.929 054
4	0.901 550	0.026 100	0.908 650	0.797 012	0.921 621
5	0.917 748	0.009 842	0.920 067	0.866 850	0.924 272
6	0.920 104	0.005 025	0.922 175	0.901 746	0.925 013
7	0.919 362	0.006 375	0.921 375	0.897 056	0.924 669
8	0.919 620	0.005 268	0.921 226	0.895 362	0.924 658
9	0.919 226	0.009 095	0.922 838	0.880 309	0.924 767
10	0.922 278	0.004 002	0.922 978	0.903 349	0.927 468
11	0.919 174	0.014 942	0.924 615	0.862 486	0.926 538
12	0.920 456	0.004 927	0.921 955	0.903 347	0.927 389
13	0.926 368	0.005 139	0.928 377	0.909 028	0.930 858
14	0.920 531	0.012 185	0.924 319	0.864 361	0.928 656
15	0.922 617	0.004 133	0.924 509	0.909 749	0.926 209
16	0.923 063	0.002 901	0.923 541	0.908 954	0.925 753
17	0.902 136	0.021 373	0.909 083	0.832 309	0.925 316
18	0.926 029	0.004 275	0.927 353	0.911 680	0.930 610
19	0.922 370	0.007 389	0.924 482	0.893 722	0.926 957
20	0.921 048	0.002 975	0.921 664	0.910 051	0.925 131

基于渐进式神经网络架构搜索的人体运动识别

Human activity recognition based on progressive neural architecture search

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 25

相关文章 15

编辑推荐

Metrics

模型	测试集F1得分
CNN^［25］	0.851 0
BaselineCNN^［5］	0.883 0
DeepConvLSTM^［5］	0.915 0
b-LSTM-S^［6］	0.927 0
EA-Single-best^［19］	0.918 5
EA-Ensemble-best^［19］	0.927 5
PNASNet-best	0.930 8

[1]	韩亚茹, 闫连山, 姚涛. 基于元学习的深度哈希检索算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2015-2021.
[2]	韩玉民, 郝晓燕. 基于子词嵌入和相对注意力的材料实体识别[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1862-1868.
[3]	杨磊, 赵红东, 于快快. 基于多头注意力机制的端到端语音情感识别[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1869-1875.
[4]	廖光锴, 张正, 宋治国. 基于小波特征与注意力机制结合的卷积网络车辆重识别[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1876-1883.
[5]	于蒙, 何文涛, 周绪川, 崔梦天, 吴克奇, 周文杰. 推荐系统综述[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1898-1913.
[6]	李佳, 郑元林, 廖开阳, 楼豪杰, 李世宇, 陈泽豪. 基于显著性深层特征的无参考图像质量评价算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1957-1964.
[7]	杨治佩, 丁胜, 张莉, 张新宇. 无锚点的遥感图像任意角度密集目标检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1965-1971.
[8]	边小勇, 费雄君, 陈春芳, 阚东东, 丁胜. 联合一二阶池化网络学习的遥感场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1972-1978.
[9]	江静, 陈渝, 孙界平, 琚生根. 融合后验概率校准训练的文本分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1789-1795.
[10]	文敏, 王荣存, 姜淑娟. 基于关系图卷积网络的源代码漏洞检测[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1814-1821.
[11]	张杨, 郝江波. 基于注意力机制和残差网络的恶意代码检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1708-1715.
[12]	苏珊, 张杨, 张冬雯. 基于深度学习的耦合度相关代码坏味检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1702-1707.
[13]	王利娥, 李小聪, 刘红翼. 融合知识图谱和差分隐私的新闻推荐方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1339-1346.
[14]	陈学勤, 陶涛, 张钟旺, 王一蕾. 融合成对编码方案及二维卷积神经网络的长短期会话推荐算法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1347-1354.
[15]	鲁永帅, 唐英杰, 马鑫然. 基于深度特征融合的无纺布低对比度浆丝缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1440-1446.