基于Kinect的人体姿态估计优化和动画生成

doi:10.11772/j.issn.1001-9081.2021061043

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (9): 2830-2837.DOI: 10.11772/j.issn.1001-9081.2021061043

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于Kinect的人体姿态估计优化和动画生成

赵威, 李毅()

四川大学计算机学院，成都 610065

收稿日期:2021-06-21 修回日期:2021-09-23 接受日期:2021-10-12 发布日期:2021-12-27 出版日期:2022-09-10
通讯作者: 李毅
作者简介:赵威（1997—），男，河北邢台人，硕士研究生，CCF会员，主要研究方向：计算机视觉、虚拟人动画；
基金资助:
国家自然科学基金资助项目(61773270)

Kinect-based human pose estimation optimization and animation generation

Wei ZHAO, Yi LI()

College of Computer Science，Sichuan University，Chengdu Sichuan 610065，China

Received:2021-06-21 Revised:2021-09-23 Accepted:2021-10-12 Online:2021-12-27 Published:2022-09-10
Contact: Yi LI
About author:ZHAO Wei， born in 1997， M. S. candidate. His research interests include computer vision， virtual human animation．
Supported by:
National Natural Science Foundation of China(61773270)

摘要/Abstract

摘要：

为了生成更准确流畅的虚拟人动画，采用Kinect设备捕获三维人体姿态数据的同时，使用单目人体三维姿态估计算法对Kinect的彩色信息进行骨骼点数据推理，从而实时优化人体姿态估计效果，并驱动虚拟人物模型生成动画。首先，提出了一种时空优化的骨骼点数据处理方法，以提高单目估计人体三维姿态的稳定性；其次，提出了一种Kinect和遮挡鲁棒姿势图（ORPM）算法融合的人体姿态估计方法来解决Kinect的遮挡问题；最后，研制了基于四元数向量插值和逆向运动学约束的虚拟人动画系统，其能够进行运动仿真和实时动画生成。与仅利用Kinect捕获人体运动来生成动画的方法相比，所提方法的人体姿态估计数据鲁棒性更强，具备一定的防遮挡能力，而与基于ORPM算法的动画生成方法相比，所提方法生成的动画在帧率上提高了两倍，效果更真实流畅。

关键词: 人体姿态估计, Kinect, 虚拟人动画, 仿真, 防遮挡

Abstract:

In order to generate more accurate and smooth virtual human animation， the Kinect device was used to capture the 3D human body pose data， and the monocular 3D human body pose estimation algorithm was used to reason the skeleton points in the color information of the Kinect at the same time， thereby optimizing the human pose estimation effect at real time， and driving the virtual character model to generate animation. Firstly， a spatio-temporal optimization method of skeleton point data processing was proposed to improve the stability of monocular estimation of the 3D human body pose. Secondly， a human pose estimation method based on the fusion of Kinect and Occlusion-Robust Pose-Maps （ORPM） algorithm was proposed to solve the occlusion problem of Kinect. Finally， a virtual human animation system based on quaternion vector interpolation and inverse kinematics constraints was developed， which was able to perform motion simulation and real-time animation generation. Compared with the animation generation method that only uses Kinect to capture human motion， the proposed method has the human body estimation data more robust， and has a certain anti-occlusion ability. The animation frame rate generated by this method is two times higher compared to that of the ORPM-based animation generation method， so that the effect of the animation generated by the proposed method is more realistic and smooth.

Key words: human pose estimation, Kinect, virtual human animation, simulation, anti-occlusion

中图分类号:

TP391.4

赵威, 李毅. 基于Kinect的人体姿态估计优化和动画生成[J]. 计算机应用, 2022, 42(9): 2830-2837.

Wei ZHAO, Yi LI. Kinect-based human pose estimation optimization and animation generation[J]. Journal of Computer Applications, 2022, 42(9): 2830-2837.

图/表 12

图1 人体骨架树型编码和顺序

Fig. 1 Human skeleton tree coding and sequence

图2 不同算法的采样序列

Fig. 2 Sampling sequences of different algorithms

图3 运动序列处理

Fig. 3 Motion sequence processing

表1 帧间最小二乘距离

Tab. 1 Least squares distance between frames

序列/帧	最小二乘距离/cm	约束后的最小二乘距离/cm
2	0.587 3	0.587 3
3	3.721 0	0.7112
4	1.290 0	0.6739
5	4.146 6	1.8537
6	5.340 2	1.9203

图4 运动序列中关节点坐标变化情况

Fig. 4 Coordinate changes of joint points in motion sequence

图5 实验场景

Fig. 5 Experimental scene

图6 生成的动画效果

Fig. 6 Generated animation effects

图7 挥手动作中右肩和右肘的角度变化情况

Fig. 7 Changes in angles of right shoulder and right elbow during waving motion

图8 侧身击拳动作中右肘和右腕的角度变化情况

Fig. 8 Changes in angles of right elbow and right wrist in sideways punching motion

图9 虚拟人动画系统流程

Fig. 9 Flowchart of virtual human animation system

图10 表演者部分动作与动画效果

Fig. 10 Part of performer’s actions and corresponding animation effects

表2 不同动画生成方法对比

Tab. 2 Comparison of different animation generation methods

方法	动画帧率/FPS	是否插值	适应场景
本文方法	60	是	正常光、弱光
文献［14］方法	20	否	正常光
欧拉角方法	20	否

参考文献 15

1	MEHTA D， SOTNYCHENKO O， MUELLER F， et al. Single-shot multi-person 3D pose estimation from monocular RGB［C］// Proceedings of the 2018 International Conference on 3D Vision. Piscataway： IEEE， 2018： 120-130. 10.1109/3dv.2018.00024
2	SHOTTON J， GIRSHICK R， FITZGIBBON A， et al. Efficient human pose estimation from single depth images［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（12）： 2821-2840. 10.1109/tpami.2012.241
3	CAO Z， SIMON T， WEI S E， et al. Realtime multi-person 2D pose estimation using part affinity fields［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1302-1310. 10.1109/cvpr.2017.143
4	NEWELL A， HUANG Z A， DENG J. Associative embedding： end-to-end learning for joint detection and grouping［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：2274-2284.
5	LI S J， CHAN A B. 3D human pose estimation from monocular images with deep convolutional neural network［C］// Proceedings of the 2014 Asian Conference on Computer Vision， LNCS 9004. Cham： Springer， 2015： 332-347.
6	MEHTA D， SRIDHAR S， SOTNYCHENKO O， et al. VNect： real-time 3D human pose estimation with a single RGB camera［J］. ACM Transactions on Graphics， 2017， 36（4）： No.44. 10.1145/3072959.3073596
7	YEUNG L F， CHENG K C， FONG C H， et al. Evaluation of the Microsoft Kinect as a clinical assessment tool of body sway［J］. Gait and Posture， 2014， 40（4）：532-538. 10.1016/j.gaitpost.2014.06.012
8	MOON S， PARK Y， KO D W， et al. Multiple Kinect sensor fusion for human skeleton tracking using Kalman filtering［J］. International Journal of Advanced Robotic Systems， 2016， 13（2）： No.62415. 10.5772/62415
9	李琪，王向东，李华. 基于双Kinect传感器的三维人体姿态跟踪方法［J］. 系统仿真学报， 2020， 32（8）：1446-1454.
	LI Q， WANG X D， LI H. 3D human pose tracking approach based on double Kinect sensors［J］. Journal of System Simulation， 2020， 32（8）：1446-1454.
10	IONESCU C， PAPAVA D， OLARU V， et al. Human3.6M： large scale datasets and predictive methods for 3D human sensing in natural environments［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2014， 36（7）：1325-1339. 10.1109/tpami.2013.248
11	ZHANG Z Y. A flexible new technique for camera calibration［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（11）： 1330-1334. 10.1109/34.888718
12	黄漫国，樊尚春，郑德智，等. 多传感器数据融合技术研究进展［J］. 传感器与微系统， 2010， 29（3）： 5-8， 12.
	HUANG M G， FAN S C， ZHENG D Z， et al. Research progress of multi-sensor data fusion technology［J］. Transducer and Microsystem Technologies， 2010， 29（3）： 5-8， 12.
13	ARUN K S， HUANG T S， BLOSTEIN S D. Least-squares fitting of two 3-D point sets［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1987， PAMI-9（5）： 698-700. 10.1109/tpami.1987.4767965
14	刘洁，李毅，朱江平. 基于双相机捕获面部表情及人体姿态生成三维虚拟人动画［J］. 计算机应用， 2021， 41（3）：839-844.
	LIU J， LI Y， ZHU J P. 3D virtual human animation generation based on dual-camera capture of facial expression and human pose［J］. Journal of Computer Applications， 2021， 41（3）： 839-844.
15	LOPER M， MAHMOOD N， ROMERO J， et al. SMPL： a skinned multi-person linear model［J］. ACM Transactions on Graphics， 2015， 34（6）： No.248. 10.1145/2816795.2818013

[1]	林滏, 石稼晟, 高泽, 楚遵康, 马琼敏, 余海燕, 饶卫雄. 基于3D几何特征深度表达学习的物理系统仿真[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3548-3555.
[2]	万义程, 杨光祥, 张庆达, 甘晨阳, 易林. 非坚持型载波监听多路访问机制对LoRa网络扩展性的影响[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2885-2896.
[3]	张广耀, 宋纯锋. 融合人体全身表观特征的行人头部跟踪模型[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1372-1377.
[4]	华夏, 朱铮皓, 徐聪, 张曦煌, 柴志雷, 陈闻杰. 基于精准通信建模的脉冲神经网络工作负载自动映射器[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 827-834.
[5]	邓亮亮, 张立臣, 姜文超. 基于对象时空Petri网的CPS建模与仿真[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3334-3339.
[6]	郑万波, 陈慧敏, 吴燕清, 夏云霓. 基于应急救援的信息共享策略仿真[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 306-311.
[7]	张凯望, 惠飞, 张国祥, 石琦, 刘志忠. 考虑时延速度差和限速信息的智能网联车跟驰模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2936-2942.
[8]	李坤, 侯庆. 基于注意力机制的轻量型人体姿态估计[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2407-2414.
[9]	杨飞宇, 宋展, 肖振中, 莫曜阳, 陈宇, 潘哲, 张敏, 张遥, 钱贝贝, 汤朝伟, 金武. 对人体姿态估计热图误差的再思考[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2548-2555.
[10]	孙琪翔, 何宁, 张敬尊, 宏晨. 基于非局部高分辨率网络的轻量化人体姿态估计方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1398-1406.
[11]	赵建敏, 赵成, 夏海光. 基于Kinect v4的牛体尺测量方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1598-1606.
[12]	顾浩杰, 张军. 基于波环粒子的实时水波仿真方法[J]. 《计算机应用》唯一官方网站, 2022, 42(12): 3876-3883.
[13]	李进, 王凤, 杨沈宇. 换电模式下电动车货运路径优化模型与算法[J]. 计算机应用, 2021, 41(6): 1792-1798.
[14]	李燕, 陈巧萍. 考虑非支持性评论的网络谣言传播模型[J]. 计算机应用, 2021, 41(4): 1128-1135.
[15]	刘洁, 李毅, 朱江平. 基于双相机捕获面部表情及人体姿态生成三维虚拟人动画[J]. 计算机应用, 2021, 41(3): 839-844.

基于Kinect的人体姿态估计优化和动画生成

Kinect-based human pose estimation optimization and animation generation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 15

相关文章 15

编辑推荐

Metrics