基于π演算的足球机器人协作Q学习方法

doi:10.3724/SP.J.1087.2011.00654

计算机应用 ›› 2011, Vol. 31 ›› Issue (03): 654-656.DOI: 10.3724/SP.J.1087.2011.00654

基于π演算的足球机器人协作Q学习方法

柯文德¹,朴松昊²,彭志平³,蔡则苏²,苑全德²

1. 广东石油化工学院计算机科学与技术系，广东茂名525000；2.哈尔滨工业大学计算机科学与技术学院，哈尔滨150001
2. 哈尔滨工业大学计算机科学与技术学院
3. 广东石油化工学院计算机科学与技术系

收稿日期:2010-09-08 修回日期:2010-11-05 发布日期:2011-03-03 出版日期:2011-03-01
通讯作者: 柯文德
作者简介:柯文德(1976-)，男，广东茂名人，副教授，博士研究生，主要研究方向：计算机系统结构、机器人、人工智能；朴松昊(1972-)，男，黑龙江哈尔滨人，副教授，博士，主要研究方向：计算机软件理论、机器人、人工智能；彭志平(1969-)，男，福建泉州人，教授，博士，主要研究方向：电子商务、智能主体、机器人；蔡则苏(1966-)，男，江苏睢宁人，副教授，博士，主要研究方向：计算机软件理论、机器人、人工智能；苑全德(1981-)，男，山东郓城人，讲师，博士研究生，主要研究方向：并行计算、机器人、智能主体。
基金资助:
国家863计划项目;国家863计划项目;广东高校优秀青年创新人才培育项目;国家自然科学基金资助项目（60905047；61075076；61075077）;国家重点实验室项目（SKLRS200902C）;广东省自然科学基金资助项目（8152500002000003）

Cooperative Q learning method based on π calculus in robot soccer

KE Wen-de¹,PIAO Song-hao²,PENG Zhi-ping³,CAI Ze-su²,YUAN Quan-de²

1. Department of Computer Science and Technology, Guangdong University of Petrochemical Technology, Maoming Guangdong 525000, China; 2. School of Computer Science and Technology, Harbin Institute of Technology, Harbin Heilongjiang 150001, China
2. School of Computer Science and Technology, Harbin Institute of Technology, Harbin Heilongjiang 150001, China
3. Department of Computer Science and Technology, Guangdong University of Petrochemical Technology, Maoming Guangdong 525000, China

Received:2010-09-08 Revised:2010-11-05 Online:2011-03-03 Published:2011-03-01
Contact: KE Wen-de

摘要/Abstract

摘要： 针对多机器人协作学习时出现的学习速度慢、学习效率低等问题，提出了一种基于π演算心智模型的足球机器人协作Q学习方法，描述了机器人的运动模型，定义了球场现状、目标、意图、行为、协作、请求、扩展知识、能力判断和联合意图等机器人心智状态，构造了联合奖励函数。最后通过实验验证了方法的有效性。

关键词: 多机器人, 协作, Q学习, 心智状态

Abstract: Concerning the low speed and low efficiency of learning in robot soccer when cooperating between multi-robots, a cooperative Q learning method based on the mental model of π calculus was proposed, in which the mental states were defined as the field state, goal, intention, action, cooperation, request, expanding knowledge，capability judging and connected intention, etc, and the combinational reward function was constructed. The validity of method was verified through experiments.

Key words: multi-robot, collaboration, Q learning, mental state

中图分类号:

TP242.6

柯文德朴松昊彭志平蔡则苏苑全德. 基于π演算的足球机器人协作Q学习方法[J]. 计算机应用, 2011, 31(03): 654-656.

KE Wen-de PIAO Song-hao PENG Zhi-ping CAI Ze-su YUAN Quan-de. Cooperative Q learning method based on π calculus in robot soccer[J]. Journal of Computer Applications, 2011, 31(03): 654-656.

[1]	何浩东, 符浩, 王强, 周帅, 刘伟. 基于深度强化学习的多机器人路径跟随与编队[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2626-2633.
[2]	赵晓焱, 韩威, 张俊娜, 袁培燕. 基于异步深度强化学习的车联网协作卸载策略[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1501-1510.
[3]	邓辅秦, 官桧锋, 谭朝恩, 付兰慧, 王宏民, 林天麟, 张建民. 基于请求与应答通信机制和局部注意力机制的多机器人强化学习路径规划方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 432-438.
[4]	于振华, 刘争气, 刘颖, 郭城. 基于自适应混合粒子群优化的软件缺陷预测特征选择方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1206-1213.
[5]	邓辅秦, 黄焕钊, 谭朝恩, 付兰慧, 张建民, 林天麟. 结合遗传算法和滚动调度的多机器人任务分配算法[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3833-3839.
[6]	喻诚皓, 仇润鹤. RIS辅助索引调制协作系统的误码率性能分析[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3559-3567.
[7]	姚华勇, 叶东毅, 陈昭炯. 考虑多粒度反馈的多轮对话强化学习推荐算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 15-21.
[8]	赵海妮, 焦健. 基于强化学习的渗透路径推荐模型[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1689-1694.
[9]	郑鑫, 李素月, 王安红, 李美玲, MUHAIDAT Sami, 宁爱平. 协作多输入多输出环境反向散射通信系统遍历速率分析[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 974-979.
[10]	王亚丽, 陈家超, 张俊娜. 移动边缘计算中收益最大化的缓存协作策略[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3479-3485.
[11]	李彤, 仇润鹤. 多中继协作空间调制的中继选择及性能分析[J]. 计算机应用, 2021, 41(7): 2019-2025.
[12]	王艺洁, 凡佳飞, 王陈宇. 云边环境下基于博弈论的两阶段任务迁移策略[J]. 计算机应用, 2021, 41(5): 1392-1398.
[13]	郑延斌, 樊文鑫, 韩梦云, 陶雪丽. 基于博弈论及Q学习的多Agent协作追捕算法[J]. 计算机应用, 2020, 40(6): 1613-1620.
[14]	黄辰, 曹建农, 王时绘, 张龑. 基于协作反馈控制算法的车联网行车安全动态强化模型[J]. 计算机应用, 2020, 40(4): 1209-1214.
[15]	裴沛, 李彩伟, 吕波特. 改进迁移算子的BBO算法及其在PID参数中的优化[J]. 计算机应用, 2020, 40(3): 728-734.

基于π演算的足球机器人协作Q学习方法

Cooperative Q learning method based on π calculus in robot soccer

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics