基于分层Option的仿人机器人相似性关键姿势转换

doi:10.3724/SP.J.1087.2013.01301

计算机应用 ›› 2013, Vol. 33 ›› Issue (05): 1301-1304.DOI: 10.3724/SP.J.1087.2013.01301

基于分层Option的仿人机器人相似性关键姿势转换

柯文德¹,²,彭志平¹,陈珂¹,项顺伯¹

1. 广东石油化工学院计算机与电子信息学院，广东茂名525000
2. 哈尔滨工业大学计算机科学与技术学院，哈尔滨150001

收稿日期:2012-11-29 修回日期:2013-01-04 出版日期:2013-05-01 发布日期:2013-05-08
通讯作者: 柯文德
作者简介:柯文德(1976-)，男，广东茂名人，博士研究生，副教授，CCF会员，主要研究方向：机器人、计算机系统结构;彭志平(1969-)，男，福建泉州人，教授，博士，主要研究方向：智能主体、机器人;陈珂(1964-)，男，黑龙江牡丹江人，副教授，硕士，主要研究方向：多机器人协作、数据挖掘;项顺伯(1979-)，男，安徽枞阳人，讲师，硕士，主要研究方向：计算机软件、机器人。
基金资助:
国家自然科学基金资助项目(61272382);广东省自然科学基金资助项目(8152500002000003, S2012010009963);广东省高等学校科技创新项目(2012KJCX0077);广东高校石化装备故障诊断与信息化控制工程中心项目(512009)

Similar key posture transformation based on hierarchical Option for humanoid robot

KE Wende¹,²,PENG Zhiping¹,CHEN Ke¹,XIANG Shunbo¹

1. College of Computer and Electronic Information, Guangdong University of Petrochemical Technology, Maoming Guangdong525000, China
2. School of Computer Science and Technology, Harbin Institute of Technology, Harbin Heilongjiang 150001,China

Received:2012-11-29 Revised:2013-01-04 Online:2013-05-08 Published:2013-05-01
Contact: KE Wende

摘要/Abstract

摘要： 针对运动捕获系统获取的人体运动轨迹固定、难以实现仿人机器人关键姿势转换问题，提出了一种基于分层Option学习的仿人机器人关键姿势相似性转换方法。构建多级关键姿势树状结构，从关节相似差异、时刻整体相似差异、周期整体相似差异等角度描述了关键姿势差异，引入分层强化Option学习方法，建立关键姿势与Option行为集，由关键姿势差异的累计奖励将SMDP-Q方法逼近最优Option值函数，实现了关键姿势的转换。实验验证了方法的有效性。

关键词: 仿人机器人, 分层强化学习, 相似性, 姿势

Abstract: Concerning the problem in which the fixed locomotion track captured from human movement can not be used in transformation between key postures for humanoid robot, a method of similar key posture transformation based on hierarchical Option for humanoid robot was proposed. The multi-level dendrogram of key postures was constructed and the difference of key postures was illustrated in respects of similar joint difference, moment total similar difference, period total similar difference. The hierarchical reinforcement Option learning was introduced, in which the sets of key postures and Option actions were constructed. SMDP-Q method tended to be the optimal Option function by the accumulative rewards of key posture difference and the transformations were realized. The experiments show the validity of the method.

Key words: humanoid robot, hierarchical reinforcement learning, similarity, posture

中图分类号:

TP242.6

柯文德彭志平陈珂项顺伯. 基于分层Option的仿人机器人相似性关键姿势转换[J]. 计算机应用, 2013, 33(05): 1301-1304.

KE Wende PENG Zhiping CHEN Ke XIANG Shunbo. Similar key posture transformation based on hierarchical Option for humanoid robot[J]. Journal of Computer Applications, 2013, 33(05): 1301-1304.

参考文献

［1］赵晓军, 黄强, 彭朝琴, 等. 基于人体运动的仿人型机器人动作的运动学匹配［J］. 机器人, 2005, 27(4): 358-361

［2］柯文德, 崔刚, 洪炳镕, 等. 参数化优化的仿人机器人相似性前向倒地研究［J］. 自动化学报, 2011，37(8): 1006-1013。

［3］ARISTIDOU A, LASENBY J. Motion capture with constrained inverse kinematics for real-time hand tracking［C］// The 4th International Symposium on Communications, Control and Signal Processing.Piscataway: IEEE Press, 2010:1-5。

［4］CONNAGHAN D, CONAIRE O, KEUY P,et al. Recognition of tennis strokes using key postures［C］// ISSC 2010:Signals and Systems Conference. Piscataway: IEEE, 2010: 245-248。

［5］HSIEH J W, CHEN S Y, CHUANG C H, et al. Occluded human body segmentation and its application to behavior analysis［C］// Proceedings of 2010 IEEE International Symposium on Circuits and Systems. Piscataway: IEEE, 2010: 3433-3436。

［6］HSIEH J W, CHUANG C H, CHEN S Y, et al. Segmentation of human body parts using deformable triangulation［J］. IEEE Transactions on Systems, Man and Cybernetics, Part A: Systems and Humans,2010, 40(3): 596-610。

［7］谷军霞, 丁晓青, 王生进. 基于人体行为3D模型的2D行为识别［J］. 自动化学报, 2010,36(1):46-53。

［8］SUTTON R S, PRECUP D, SINGH S. Between MDPs and semi-MDPs a framework for temporal abstraction in reinforcement learning［J］. Artificial Intelligence,1999,112(1): 181-211。

［9］DIETTERICH T G. Hierarchical reinforcement learning with the MAXQ value function decomposition［J］. Journal of Artificial Intelligence Research, 2000, 13(1): 227-303。

［10］BARTO A G, MAHADEVAN S. Recent advances in hierarchical reinforcement learning［J］. Discrete Event Dynamic Systems, 2003, 13(1/2): 41-77。

［11］沈晶, 刘海波, 张汝波, 等. 基于半马尔可夫对策的多机器人分层强化学习［J］. 山东大学学报：工学版, 2010, 40(4): 1-7。

［12］沈晶. 分层强化学习方法研究［D］. 哈尔滨：哈尔滨工程大学, 2006。

[1]	王月, 江逸茗, 兰巨龙. 基于改进三元组网络和K近邻算法的入侵检测[J]. 计算机应用, 2021, 41(7): 1996-2002.
[2]	杨蒙蒙, 张爱华. 基于灰度共生矩阵和同步正交匹配追踪的分形图像压缩[J]. 计算机应用, 2021, 41(5): 1445-1449.
[3]	胡立华, 左威健, 聂瑶瑶. 基于加权相似性度量的特征匹配方法[J]. 计算机应用, 2021, 41(2): 511-516.
[4]	周玉彬, 肖红, 王涛, 姜文超, 熊梦, 贺忠堂. 基于动作周期退化相似性度量的机械轴健康指标构建与剩余寿命预测[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3192-3199.
[5]	李卫中. 基于场景局部特征的多曝光图像融合[J]. 计算机应用, 2020, 40(8): 2365-2371.
[6]	杨文璐, 于孟孟, 谢宏. 基于关键姿势的双人交互行为识别[J]. 计算机应用, 2020, 40(8): 2231-2235.
[7]	朱琳, 于海涛, 雷新宇, 刘静, 王若凡. 基于MRI图像的阿尔茨海默症患者脑网络特征识别算法[J]. 计算机应用, 2020, 40(8): 2455-2459.
[8]	杨锋, 许玉, 尹梦晓, 符嘉成, 黄冰, 梁芳烜. 基于深度学习的行人重识别综述[J]. 计算机应用, 2020, 40(5): 1243-1252.
[9]	葛宇, 梁静. 基于相遇概率时效性和重复扩散感知的机会网络消息转发算法[J]. 计算机应用, 2020, 40(5): 1397-1402.
[10]	王肖, 魏嘉旺, 袁玉波. 基于特征部位圆形域的人脸图像修复方法[J]. 计算机应用, 2020, 40(3): 847-853.
[11]	吕一可, 徐凯, 黄振强. 基于面积划分的轨迹相似性度量方法[J]. 计算机应用, 2020, 40(2): 578-583.
[12]	张丽, 孔旭, 孙忠贵. 基于非局部自相似性和低秩矩阵逼近的补全算法[J]. 计算机应用, 2020, 40(11): 3327-3331.
[13]	宗春梅, 张月琴, 曹建芳, 赵青杉. 基于深度先验及非局部相似性的压缩感知核磁共振成像[J]. 计算机应用, 2020, 40(10): 3054-3059.
[14]	刘昱阳, 李龙杰, 单娜, 陈晓云. 融合聚集系数的链接预测方法[J]. 计算机应用, 2020, 40(1): 28-35.
[15]	马伟苹, 李文新, 孙晋川, 曹鹏霞. 基于粗精立体匹配的双目视觉目标定位方法[J]. 计算机应用, 2020, 40(1): 227-232.

基于分层Option的仿人机器人相似性关键姿势转换

Similar key posture transformation based on hierarchical Option for humanoid robot

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics