基于渐进式神经网络架构搜索的人体运动识别

doi:10.11772/j.issn.1001-9081.2021050798

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2058-2064.DOI: 10.11772/j.issn.1001-9081.2021050798

所属专题：人工智能

基于渐进式神经网络架构搜索的人体运动识别

王震宇, 张雷(), 高文彬, 权威铭

南京师范大学电气与自动化工程学院，南京 210023

收稿日期:2021-05-17 修回日期:2021-09-13 接受日期:2021-09-22 发布日期:2021-09-13 出版日期:2022-07-10
通讯作者: 张雷
作者简介:王震宇（1996—），男，江苏扬州人，硕士研究生，主要研究方向：深度学习、模式识别、自然语言处理
高文彬（1996—），男，江苏盐城人，硕士研究生，主要研究方向：计算机视觉、信号处理、目标检测
权威铭（1996—），男，安徽宿州人，硕士研究生，主要研究方向：人工智能。
基金资助:
国家自然科学基金资助项目(61971228);江苏省自然科学基金资助项目(BK20191371)

Human activity recognition based on progressive neural architecture search

Zhenyu WANG, Lei ZHANG(), Wenbin GAO, Weiming QUAN

School of Electrical and Automation Engineering，Nanjing Normal University，Nanjing Jiangsu 210023，China

Received:2021-05-17 Revised:2021-09-13 Accepted:2021-09-22 Online:2021-09-13 Published:2022-07-10
Contact: Lei ZHANG
About author:WANG Zhenyu， born in 1996， M. S. candidate. His research interests include deep learning， pattern recognition， natural language processing.
GAO Wenbin， born in 1996， M. S. candidate. His research interests include computer vision， signal processing， object detection.
QUAN Weiming， born in 1996， M. S. candidate. His research interests include artificial intelligence.
Supported by:
National Natural Science Foundation of China(61971228);Natural Science Foundation of Jiangsu Province(BK20191371)

摘要/Abstract

摘要：

为了解决基于传感器数据的运动识别问题，利用深度卷积神经网络（CNN）在公开的OPPORTUNITY传感器数据集上进行运动识别，提出了一种改进的渐进式神经网络架构搜索（PNAS）算法。首先，神经网络模型设计过程中不再依赖于合适拓扑结构的手动选择，而是通过PNAS算法来设计最优拓扑结构以最大化F1分数；其次，使用基于序列模型的优化（SMBO）策略，在该策略中将按照复杂度从低到高的顺序搜索结构空间，同时学习一个代理函数以引导对结构空间的搜索；最后，将搜索过程中表现最好的20个模型在OPPORTUNIT数据集上进行完全训练，并从中选出表现最好的模型作为搜索到的最优架构。通过这种方式搜索到的最优架构在OPPORTUNITY数据集上的F1分数达到了93.08%，与进化算法搜索到的最优架构及DeepConvLSTM相比分别提升了1.34%和1.73%，证明该方法能够改进以前手工设计的模型结构，且是可行有效的。

关键词: 人体运动识别, 深度学习, 神经网络架构搜索, 卷积神经网络, 基于序列模型的优化

Abstract:

Concerning the sensor data based activity recognition problem， deep Convolutional Neural Network （CNN） was used to perform activity recognition on public OPPORTUNITY sensor dataset， and an improved Progressive Neural Architecture Search （PNAS） algorithm was proposed. Firstly， in the process of neural network model design， without manual selection of suitable topology， PNAS algorithm was used to design the optimal topology in order to maximize the F1 score. Secondly， a Sequential Model-Based Optimization （SMBO） strategy was used， in which the structure space was searched in the order of low complexity to high complexity， while a surrogate function was learned to guide the search of the structure space. Finally， the top 20 models with the best performance in the search process were fully trained on OPPORTUNIT dataset， and the best performing model was selected as the optimal architecture searched. The F1 score of the optimal architecture searched in this way reaches 93.08% on OPPORTUNITY dataset， which is increased by 1.34% and 1.73% respectively compared with those of the optimal architecture searched by evolutionary algorithm and DeepConvlSTM， which indicates that the proposed method can improve previously manually-designed architectures and is feasible and effective.

Key words: Human Activity Recognition （HAR）, deep learning, Neural Architecture Search （NAS）, Convolutional Neural Network （CNN）, Sequential Model-Based Optimization （SMBO）

中图分类号:

TP391.4

王震宇, 张雷, 高文彬, 权威铭. 基于渐进式神经网络架构搜索的人体运动识别[J]. 计算机应用, 2022, 42(7): 2058-2064.

Zhenyu WANG, Lei ZHANG, Wenbin GAO, Weiming QUAN. Human activity recognition based on progressive neural architecture search[J]. Journal of Computer Applications, 2022, 42(7): 2058-2064.

图/表 9

参考文献 25

1	郑浦，白宏阳，李政茂，等. 抖动干扰下运动目标精准检测与跟踪算法设计［J］. 仪器仪表学报， 2019， 40（11）：90-98.
	ZHENG P， BAI H Y， LI Z M， et al. Design of accurate detection and tracking algorithm for moving target under jitter interference［J］. Chinese Journal of Scientific Instrument， 2019， 40（11）： 90-98.
2	吴天舒，陈蜀宇，吴朋. 全生命周期健康监测诊断系统研究［J］. 仪器仪表学报， 2018， 39（8）：204-211.
	WU T S， CHEN S Y， WU P. Research on the life cycle health monitoring and diagnosis system［J］. Chinese Journal of Scientific Instrument， 2018， 39（8）： 204-211.
3	ALAA M， ZAIDAN A A， ZAIDAN B B， et al. A review of smart home applications based on internet of things［J］. Journal of Network and Computer Applications， 2017， 97： 48-65. 10.1016/j.jnca.2017.08.017
4	CORNACCHIA M， OZCAN K， ZHENG Y， et al. A survey on activity detection and classification using wearable sensors［J］. IEEE Sensors Journal， 2017， 17（2）： 386-403. 10.1109/jsen.2016.2628346
5	ORDÓÑEZ F J， ROGGEN D. Deep convolutional and LSTM recurrent neural networks for multimodal wearable activity recognition［J］. Sensors， 2016， 16（1）： No.115. 10.3390/s16010115
6	HAMMERLA N Y， HALLORAN S， PLÖTZ T. Deep， convolutional， and recurrent models for human activity recognition using wearables［C］// Proceedings of the 25th International Joint Conference on Artificial Intelligence. California： IJCAI.org， 2016： 1533-1540.
7	WANG K， HE J， ZHANG L. Attention-based convolutional neural network for weakly labeled human activities’ recognition with wearable sensors［J］. IEEE Sensors Journal， 2019， 19（17）： 7598-7604. 10.1109/jsen.2019.2917225
8	TENG Q， WANG K， ZHANG L， et al. The layer-wise training convolutional neural networks using local loss for sensor-based human activity recognition［J］. IEEE Sensors Journal， 2020， 20（13）： 7265-7274. 10.1109/jsen.2020.2978772
9	郑增威，杜俊杰，霍梅梅，等. 基于可穿戴传感器的人体活动识别研究综述［J］. 计算机应用， 2018， 38（5）：1223-1229， 1238. 10.3390/s22051911
	ZHENG Z W， DU J J， HUO M M， et al， Review of human activity recognition based on wearable sensors［J］. Journal of Computer Applications， 2018， 38（5）： 1223-1229， 1238. 10.3390/s22051911
10	STANLEY K O， MIIKKULAINEN R. Evolving neural networks through augmenting topologies［J］. Evolutionary Computation， 2002， 10（2）： 99-127. 10.1162/106365602320169811
11	REAL E， MOORE S， SELLE A， et al. Large-scale evolution of image classifiers［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 2902-2911.
12	SUGANUMA M， SHIRAKAWA S， NAGAO T. A genetic programming approach to designing convolutional neural network architectures［C］// Proceedings of the 2017 Genetic and Evolutionary Computation Conference. New York： ACM， 2017： 497-504. 10.1145/3071178.3071229
13	ELSKEN T， METZEN J H， HUTTER F. Efficient multi-objective neural architecture search via Lamarckian evolution［EB/OL］. （2019-02-26）［2021-05-17］.. 10.1007/978-3-030-05318-5_3
14	WILLIAMS R J. Simple statistical gradient-following algorithms for connectionist reinforcement learning［J］. Machine Learning， 1992， 8（3/4）： 229-256. 10.1007/bf00992696
15	BAKER B， GUPTA O， NAIK N， et al. Designing neural network architectures using reinforcement learning［EB/OL］. （2017-03-22）［2021-05-17］..
16	ZOPH B， LE QUOC V. Neural architecture search with reinforcement learning［EB/OL］. （2017-02-15）［2021-05-17］..
17	ZOPH B， VASUDEVAN V， SHLENS J， et al. Learning transferable architectures for scalable image recognition［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8697-8710. 10.1109/cvpr.2018.00907
18	LIU C X， ZOPH B， NEUMANN M， et al. Progressive neural architecture search［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11205. Cham： Springer， 2018： 19-35.
19	BALDOMINOS A， SAEZ Y， ISASI P. Evolutionary design of convolutional neural networks for human activity recognition in sensor-rich environments［J］. Sensors， 2018， 18（4）： No.1288. 10.3390/s18041288
20	NEGRINHO R， GORDON G. DeepArchitect： automatically designing and training deep architectures［EB/OL］. （2017-04-28）［2021-05-17］..
21	BROCK A， LIM T， RITCHIE J M， et al. SMASH： one-shot model architecture search through HyperNetworks［EB/OL］. （2017-08-17）［2021-05-17］..
22	DOMHAN T， SPRINGENBERG J T， HUTTER F. Speeding up automatic hyperparameter optimization of deep neural networks by extrapolation of learning curves［C］// Proceedings of the 24th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015： 3460-3468.
23	BAKER B， GUPTA O， RASKAR R， et al. Accelerating neural architecture search using performance prediction［EB/OL］. （2017-11-08）［2021-05-17］..
24	CHAVARRIAGA R， SAGHA H， CALATRONI A， et al. The opportunity challenge： a benchmark database for on-body sensor-based activity recognition［J］. Pattern Recognition Letters， 2013， 34（15）： 2033-2042. 10.1016/j.patrec.2012.12.014
25	YANG J B， NGUYEN M N， SAN P P， et al. Deep convolutional neural networks on multichannel time series for human activity recognition［C］// Proceedings of the 24th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015： 3995-4001.

数据类型	数目
合计	21 144
无动作	15 152
开门1	348
开门2	370
关门1	327
关门2	352
打开冰箱	442
关闭冰箱	379
打开洗碗机	293
关闭洗碗机	266
打开抽屉1	204
关闭抽屉1	176
打开抽屉2	201
关闭抽屉2	163
打开抽屉3	242
关闭抽屉3	234
擦桌子	377
喝水	1 341
拨开关	277

数据类型	数目
合计	21 144
无动作	15 152
开门1	348
开门2	370
关门1	327
关门2	352
打开冰箱	442
关闭冰箱	379
打开洗碗机	293
关闭洗碗机	266
打开抽屉1	204
关闭抽屉1	176
打开抽屉2	201
关闭抽屉2	163
打开抽屉3	242
关闭抽屉3	234
擦桌子	377
喝水	1 341
拨开关	277

准确度	组合1		组合2		组合3
准确度	操作1	操作2	操作1	操作2	操作1	操作2
0.943 8	3×5-5×3	3×5-5×3	5×5-5×5	3×3-3×3	5×5-5×5	3×3-3×3
0.943 8	5×5-5×5	3×3-3×3
0.943 2	3×5-5×3	3×3-3×3	5×5-5×5	5×5-5×5	5×5-5×5	3×3-3×3
0.943 2	5×5-5×5	2×6-6×2	5×5-5×5	3×3-3×3
0.942 6	1×3-3×1	3×3-3×3	5×5-5×5	5×5-5×5	5×5-5×5	3×3-3×3
0.942 6	5×5-5×5	2×6-6×2	5×5-5×5	3×3-3×3
0.942 0	3×5-5×3	5×5-5×5	5×5-5×5	3×3-3×3	5×5-5×5	3×3-3×3
0.942 0	5×5-5×5	1×7-7×1	5×5-5×5	3×3-3×3
0.941 5	3×5-5×3	5×5-5×5	3×5-5×3	5×5-5×5	3×5-5×3	5×5-5×5
0.941 5	3×5-5×3	1×7-7×1	3×5-5×3	5×5-5×5

准确度	组合1		组合2		组合3
准确度	操作1	操作2	操作1	操作2	操作1	操作2
0.943 8	3×5-5×3	3×5-5×3	5×5-5×5	3×3-3×3	5×5-5×5	3×3-3×3
0.943 8	5×5-5×5	3×3-3×3
0.943 2	3×5-5×3	3×3-3×3	5×5-5×5	5×5-5×5	5×5-5×5	3×3-3×3
0.943 2	5×5-5×5	2×6-6×2	5×5-5×5	3×3-3×3
0.942 6	1×3-3×1	3×3-3×3	5×5-5×5	5×5-5×5	5×5-5×5	3×3-3×3
0.942 6	5×5-5×5	2×6-6×2	5×5-5×5	3×3-3×3
0.942 0	3×5-5×3	5×5-5×5	5×5-5×5	3×3-3×3	5×5-5×5	3×3-3×3
0.942 0	5×5-5×5	1×7-7×1	5×5-5×5	3×3-3×3
0.941 5	3×5-5×3	5×5-5×5	3×5-5×3	5×5-5×5	3×5-5×3	5×5-5×5
0.941 5	3×5-5×3	1×7-7×1	3×5-5×3	5×5-5×5

编号	平均数	标准差	中位数	最小值	最大值
1	0.919 522	0.005 528	0.920 868	0.902 169	0.927 428
2	0.920 135	0.006 067	0.922 891	0.900 702	0.925 996
3	0.924 570	0.004 411	0.926 382	0.906 374	0.929 054
4	0.901 550	0.026 100	0.908 650	0.797 012	0.921 621
5	0.917 748	0.009 842	0.920 067	0.866 850	0.924 272
6	0.920 104	0.005 025	0.922 175	0.901 746	0.925 013
7	0.919 362	0.006 375	0.921 375	0.897 056	0.924 669
8	0.919 620	0.005 268	0.921 226	0.895 362	0.924 658
9	0.919 226	0.009 095	0.922 838	0.880 309	0.924 767
10	0.922 278	0.004 002	0.922 978	0.903 349	0.927 468
11	0.919 174	0.014 942	0.924 615	0.862 486	0.926 538
12	0.920 456	0.004 927	0.921 955	0.903 347	0.927 389
13	0.926 368	0.005 139	0.928 377	0.909 028	0.930 858
14	0.920 531	0.012 185	0.924 319	0.864 361	0.928 656
15	0.922 617	0.004 133	0.924 509	0.909 749	0.926 209
16	0.923 063	0.002 901	0.923 541	0.908 954	0.925 753
17	0.902 136	0.021 373	0.909 083	0.832 309	0.925 316
18	0.926 029	0.004 275	0.927 353	0.911 680	0.930 610
19	0.922 370	0.007 389	0.924 482	0.893 722	0.926 957
20	0.921 048	0.002 975	0.921 664	0.910 051	0.925 131

基于渐进式神经网络架构搜索的人体运动识别

Human activity recognition based on progressive neural architecture search

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 25

相关文章 15

编辑推荐

Metrics

模型	测试集F1得分
CNN^［25］	0.851 0
BaselineCNN^［5］	0.883 0
DeepConvLSTM^［5］	0.915 0
b-LSTM-S^［6］	0.927 0
EA-Single-best^［19］	0.918 5
EA-Ensemble-best^［19］	0.927 5
PNASNet-best	0.930 8

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[3]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[4]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[5]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[6]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[7]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[8]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[9]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[10]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[11]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[12]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[13]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.
[14]	高阳峄, 雷涛, 杜晓刚, 李岁永, 王营博, 闵重丹. 基于像素距离图和四维动态卷积网络的密集人群计数与定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2233-2242.
[15]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.