基于人体模型约束的步态动态识别方法

doi:10.11772/j.issn.1001-9081.2022010131

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (3): 972-977.DOI: 10.11772/j.issn.1001-9081.2022010131

所属专题：前沿与综合应用

基于人体模型约束的步态动态识别方法

刘今越(), 李慧宇, 贾晓辉, 李佳蕊

河北工业大学机械工程学院，天津 300401

收稿日期:2022-02-08 修回日期:2022-03-16 接受日期:2022-03-21 发布日期:2022-04-21 出版日期:2023-03-10
通讯作者: 刘今越
作者简介:刘今越（1977—），男，河北唐山人，教授，博士，主要研究方向：机器人环境感知、智能检测与控制
李慧宇（1994—），男，黑龙江佳木斯人，硕士研究生，主要研究方向：力触觉感知、智能检测
贾晓辉（1976—），女，河北唐山人，副教授，博士，主要研究方向：柔性精密系统设计、力触觉感知机理、意图识别
李佳蕊（1996—），女，辽宁铁岭人，硕士研究生，主要研究方向：力触觉感知机理、意图识别。
基金资助:
国家自然科学基金资助项目(U1813222)

Dynamic gait recognition method based on human model constraints

Jinyue LIU(), Huiyu LI, Xiaohui JIA, Jiarui LI

School of Mechanical Engineering，Hebei University of Technology，Tianjin 300401，China

Received:2022-02-08 Revised:2022-03-16 Accepted:2022-03-21 Online:2022-04-21 Published:2023-03-10
Contact: Jinyue LIU
About author:LI Huiyu， born in 1994， M. S. candidate. His research interests include force tactile perception， intelligent detection.
JIA Xiaohui， born in 1976， Ph. D.， associate professor. Her research interests include flexible precision system design， force tactile perception mechanism， intention recognition.
LI Jiarui， born in 1996， M. S. candidate. Her research interests include tactile perception mechanism， intention recognition.
Supported by:
National Natural Science Foundation of China(U1813222)

摘要/Abstract

摘要：

针对外骨骼机器人在人机交互、医疗康复中的人体运动步态准确识别问题，提出一种基于人体模型约束的步态动态识别方法。首先，利用AMS仿真软件建立不同运动的仿真模型，根据模型约束划分步态相位，并通过回归映射建立真实数据与仿真数据间的对应关系；然后，将柔性压力传感器采集的足底压力数据以及惯性测量单元采集的足部位移数据融合为足部运动数据，并根据动态变化结合模型约束条件动态分割运动数据，以判断步态相位；最后，搭建卷积神经网络（CNN）识别行走步态相位。实验结果表明，所提方法的行走动作步态平均识别准确率为94.58%，上、下楼梯动作的平均步态识别准确率分别为93.21%和94.64%，与未经动态分割的足底压力数据的步态识别相比，分别提高了11.34、12.19和16.03个百分点。可见，通过经动态分割的足部运动数据进行CNN识别具有较高的准确率，且适用于不同动作的步态识别。

关键词: 步态识别, 动态检测, 人体模型, 卷积神经网络, 足底压力

Abstract:

Aiming at the issue of accurate recognition of human motion gait in exoskeleton robot human computer interaction and medical rehabilitation， a dynamic gait recognition method based on human model constraints was proposed. Firstly， Anybody Modeling System （AMS） simulation software was used to establish different motion simulation models， the gait phases were devided according to the model constraints， and the corresponding relationship between the real data and the simulation data was established through regression mapping. Then， the plantar pressure data collected by the flexible pressure sensor and the foot displacement data collected by the inertial measurement unit were fused into the foot motion data， and the motion data was dynamically segmented according to its dynamic changes and the model constraints to determine the gait phase. Finally， Convolutional Neural Network （CNN） was built to identify the walking gait phase. Experimental results show that the proposed method has the average recognition accuracy of walking action gait of 94.58%， and the average gait recognition accuracy for going upstairs and downstairs actions is 93.21% and 94.64% respectively， which has the gait recognition accuracy of the three actions （walking， going upstairs and downstairs） increased by 11.34， 12.19 and 16.03 percentage points， respectively. It can be seen that CNN recognition based on dynamically segmented foot motion data has a high accuracy， and is suitable for gait recognition of different actions.

Key words: gait recognition, dynamic detection, human model, Convolutional Neural Network (CNN), plantar pressure

中图分类号:

TP242.6

刘今越, 李慧宇, 贾晓辉, 李佳蕊. 基于人体模型约束的步态动态识别方法[J]. 计算机应用, 2023, 43(3): 972-977.

Jinyue LIU, Huiyu LI, Xiaohui JIA, Jiarui LI. Dynamic gait recognition method based on human model constraints[J]. Journal of Computer Applications, 2023, 43(3): 972-977.

图/表 16

图1 步态识别流程

Fig. 1 Flow of gait recognition

图2 传感器布局

Fig. 2 Sensor layout

图3 压力传感器结构及工作原理

Fig. 3 Structure and operation principle of pressure sensor

图4 足部测量点分布与足底压力仿真结果

Fig. 4 Distribution of measurement points in foot and plantar pressure simulation results

图5 行走运动的仿真位移曲线

Fig. 5 Simulated displacement curve of walking action

图6 足底压力区域划分

Fig.6 Plantar pressure area division

表1 步态相位判断条件

Tab. 1 Gait phase judgment conditions

步态相位	判断条件
足跟触地	$f k t o e = 0$ & $f k h e e l = - i n f$
足弓触地	$f k t o e = 0$ & $f k a r c h = - i n f$
足平放	$f k - 1 t o e = - i n f$
足跟离地	$f k - 1 h e e l = 0$ & $f k h e e l > 0$
足前支撑	$f k a r c h = 1$
摆动相	$f k t o e = 1$ & $f k h e e l = 0$

表1 步态相位判断条件

Tab. 1 Gait phase judgment conditions

步态相位	判断条件
足跟触地	$f k t o e = 0$ & $f k h e e l = - i n f$
足弓触地	$f k t o e = 0$ & $f k a r c h = - i n f$
足平放	$f k - 1 t o e = - i n f$
足跟离地	$f k - 1 h e e l = 0$ & $f k h e e l > 0$
足前支撑	$f k a r c h = 1$
摆动相	$f k t o e = 1$ & $f k h e e l = 0$

图7 足部Z轴位移与速度

Fig.7 Z-axis displacement and velocity of foot

图8 足部运动数据图像

Fig.8 Foot motion data images

图9 CNN结构

Fig.9 Structure of CNN

表2 CNN参数

Tab. 2 Parameters of CNN

名称	类型	核大小及个数	步长	特征图与神经元
Input	输入层	—	—	1个34×16
C1	卷积层	6个5×5核	1	6个30×12
S2	降采样层	1个2×2核	2	6个15×6
C3	卷积层	16个5×5核	1	16个11×2
S4	降采样层	1个2×2核	1	16个6×2
C5	卷积层	120个1×1核	1	120个6×2
F6	全连接层	1×1核	1	—
Output	输出层	1×1核	1	—

图10 足部运动数据采集系统

Fig.10 Foot motion data acquisition system

图11 站立状态的特征值误差

Fig.11 Eigenvalue error of standing state

图12 行走步态识别

Fig. 12 Walking gait recognition

图13 上下楼梯步态识别

Fig. 13 Gait recognition of going upstairs and downstairs

表3 不同数据的步态识别准确率 (%)

Tab. 3 Gait recognition accuracy of different data

步态识别数据	行走	上楼梯	下楼梯
足部运动数据图像	94.58	93.21	94.64
足底压力图像	83.24	81.02	78.61

参考文献 18

1	DING S， OUYANG X P， LIU T， et al. Gait event detection of a lower extremity exoskeleton robot by an intelligent IMU［J］. IEEE Sensors Journal， 2018， 18（23）：9728-9735. 10.1109/jsen.2018.2871328
2	DEMROZI F， BACCHIN R， TAMBURIN S， et al. Toward a wearable system for predicting the freezing of gait in people affected by Parkinson's disease［J］. IEEE Journal of Biomedical and Health Informatics， 2020， 24（9）：2444-2451. 10.1109/jbhi.2019.2952618
3	ZHANG B Q， WANG S A， ZHU H Q. A user-adaptive online learning approach of real-time gait phase detection for walking assistance［C］// Proceedings of the 2019 IEEE Symposium Series on Computational Intelligence. Piscataway： IEEE， 2019：1127-1132. 10.1109/ssci44817.2019.9003107
4	LI H Z， ZHANG X D， LU Z F， et al. RP-based voluntary movement intention detection of lower limb using CNN［C］// Proceedings of the 10th IEEE International Conference on Cyber Technology in Automation， Control， and Intelligent Systems. Piscataway： IEEE， 2020：349-353. 10.1109/cyber50695.2020.9279117
5	PARDOEL S， SHALIN G， NANTEL J， et al. Early detection of freezing of gait during walking using inertial measurement unit and plantar pressure distribution data［J］. Sensors， 2021， 21（6）： No.2246. 10.3390/s21062246
6	ZHOU M L， REN C H， LIU H. An improved sEMG signal processing method for lower limb motion recognition［C］// Proceedings of the IEEE 3rd Advanced Information Management， Communicates， Electronic and Automation Control Conference. Piscataway： IEEE， 2019：21-25. 10.1109/imcec46724.2019.8984187
7	RYU J， LEE BH， KIM DH. sEMG signal-based lower limb human motion detection using a top and slope feature extraction algorithm［J］. IEEE Signal Processing Letters， 2017， 24（7）：929-932. 10.1109/lsp.2016.2636320
8	CHAKRABORTY S， NANDY A. An unsupervised approach for gait phase detection［C］// Proceedings of the 4th International Conference on Computational Intelligence and Networks. Piscataway： IEEE， 2020：1-5. 10.1109/cine48825.2020.234396
9	WANG L， LI Y J， XIONG F， et al. Gait recognition using optical motion capture： a decision fusion based method［J］. Sensors， 2021， 21（10）： No.3496. 10.3390/s21103496
10	KOLAGHASSI R， AL-HARES M K， SIRLANTZIS K. Systematic review of intelligent algorithms in gait analysis and prediction for lower limb robotic systems［J］. IEEE Access， 2021， 9：113788-113812. 10.1109/access.2021.3104464
11	WEIGAND F， ZEISS J， GRIMMER M， et al. A novel approach for gait phase estimation for different locomotion modes using kinematic shank information［J］. IFAC-PapersOnLine， 2020， 53（2）：8697-8703. 10.1016/j.ifacol.2020.12.287
12	SU B B， SMITH C， FAREWIK E G. Gait phase recognition using deep convolutional neural network with inertial measurement units［J］. Biosensors， 2020， 10（9）： No.109. 10.3390/bios10090109
13	赵飞. 基于连续足底分布式压力测量的步态分析［D］.哈尔滨：哈尔滨工业大学， 2020：7-11.
	ZHAO F. Gait analysis based on continuous plantar distributed pressure measurements［D］. Harbin： Harbin Institute of Technology， 2020：7-11.
14	郭士杰，肖杰，刘今越，等. 电容阵列柔性压力传感器设计与分析［J］.仪器仪表学报， 2018， 39（7）：49-55.
	GUO S J， XIAO J， LIU J Y， et al. Capacitor array flexible pressure sensor design and analysis［J］. Chinese Journal of Scientific Instrument， 2018， 39（7）：49-55.
15	PAPAVASILEIOU I， ZHANG W L， HAN S. Real-time data-driven gait phase detection using ground contact force measurements： algorithms， platform design and performance［J］. Smart Health， 2017， 1/2 ：34-49.
16	钟慧敏，黄萍. 不同体质量指数正常人的足底压力特征［J］. 中国组织工程研究， 2017， 21（23）：3730-3735. 10.3969/j.issn.2095-4344.2017.23.021
	ZHONG H M， HUANG P. Plantar pressure of normal people with different body mass index［J］. Chinese Journal of Tissue Engineering Research， 2017， 21（23）：3730-3735. 10.3969/j.issn.2095-4344.2017.23.021
17	FOXLIN E. Pedestrian tracking with shoe-mounted inertial sensors［J］. IEEE Computer Graphics and Applications， 2005， 25（6）：38-46. 10.1109/mcg.2005.140
18	邓平，赵荣鑫，朱飞翔. 一种基于人体运动状态识别的行人航迹推算方法［J］. 中国惯性技术学报， 2021， 29（1）：16-22.
	DENG P， ZHAO R X， ZHU F X. A PDR algorithm based on human motion recognition［J］. Journal of Chinese Inertial Technology， 2021， 29（1）： 16-22.

[1]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[4]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[5]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[6]	高阳峄, 雷涛, 杜晓刚, 李岁永, 王营博, 闵重丹. 基于像素距离图和四维动态卷积网络的密集人群计数与定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2233-2242.
[7]	刘瑞华, 郝子赫, 邹洋杨. 基于多层级精细特征融合的步态识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2250-2257.
[8]	王东炜, 刘柏辰, 韩志, 王艳美, 唐延东. 基于低秩分解和向量量化的深度网络压缩方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1987-1994.
[9]	沈君凤, 周星辰, 汤灿. 基于改进的提示学习方法的双通道情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1796-1806.
[10]	王晓路, 千王菲. 基于双支路卷积网络的步态识别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1965-1971.
[11]	姚迅, 秦忠正, 杨捷. 生成式标签对抗的文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1781-1785.
[12]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[13]	李健京, 李贯峰, 秦飞舟, 李卫军. 基于不确定知识图谱嵌入的多关系近似推理模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1751-1759.
[14]	高文烁, 陈晓云. 基于节点结构的点云分类网络[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1471-1478.
[15]	席治远, 唐超, 童安炀, 王文剑. 基于双路时空网络的驾驶员行为识别[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1511-1519.

基于人体模型约束的步态动态识别方法

Dynamic gait recognition method based on human model constraints

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 18

相关文章 15

编辑推荐

Metrics