• • 下一篇
王乐怡,李健
摘要: 智能动作指导为体育训练、动作教学及康复指导提供自动化与个性化支持,具有重要应用价值。现有研究多侧重于动作质量评分、错误标签或文本反馈,已有纠错动作生成方法在复杂连续动作的修正方面仍存在不足。为此,提出一种编辑区域引导的文本驱动动作纠错生成方法。该方法首先构建运动编辑选择器,根据学习者原始动作与专家文本反馈生成编辑预测信号,用于刻画不同关节在不同时刻的编辑重要程度;随后结合关节级身体区域掩码构建编辑区域引导权重,并将其转换为连续注意力偏置引入扩散去噪网络,使该网络在生成过程中增强对反馈相关区域关注的同时减少对无关动作区域的非必要修改。在基于Ego-Exo4D构建的专家反馈动作纠错配对数据集上的对比实验中,本文方法Generated-to-Target Retrieval(E2T)的R@1、R@2和R@3分别达到3.13%、5.76%和8.59%,Median Rank(MedR)为49;编辑区域平均关节位置误差(Edit-MPJPE)、非编辑区域保持平均关节位置误差(Keep-MPJPE)、平均关节位置误差(Mean Per Joint Position Error,MPJPE)和Procrustes对齐平均关节位置误差(Procrustes-Aligned Mean Per Joint Position Error,PA-MPJPE)分别为17.06 cm、21.17 cm、16.75 cm和8.86 cm。与TMED (Text-based Motion Editing Diffusion)、SimMotionEdit (text-based human Motion Editing with motion Similarity prediction)和3D Pose Based Feedback for Physical Exercises(本文简称3DPBF)相比,本文方法在E2T检索指标上取得最优结果,其中R@1、R@2和R@3较次优方法SimMotionEdit分别提高0.81、0.91和1.82个百分点,中位检索排名MedR由66前移至49。此外,在Exercise Correction in 3D(EC3D)数据集上,本文方法的纠错成功率达到88.14%,较3DPBF的76.27%提高11.87个百分点。实验结果表明,本文方法能够实现针对性的动作纠错,并在不同动作纠错数据集上均取得了较好的实验结果,可为智能动作指导中的纠正动作示范生成提供有效支持。
中图分类号: