从虚拟到现实的六足机器人运动控制的研究

The study of legged robot is a very challenging problem due to its “multiple input- multiple output-multiple end-effectors” property, hence it is The study of legged robot is a very challenging problem due to its “multiple input- multiple output-multiple end-effectors” property, hence it is difficult to design its locomotion controller. The most popular approach to control physical legged systems is modular controller design, but it has a lot of limitations. Sim-to-Real framework has been adopted by the control community due to its advantages in avoiding limitations of physical system and avoiding costs in actual training on real robot system. This proposal aims at creating a method that can learn locomotion controller for legged robot and directly transfer it to real physical system. By utilizing the environment created with realistic physical models of the six-legged robot, with reinforcement learning framework, this proposal creates effective representation space for legged robot. Furthermore, evaluation and optimization method of legged robot locomotion controller are studied, then by conducting comprehensive experiments on real physical system, the robustness of the controller will be tested. This project not only focuses on learn a locomotion controller for six legged-robot, but also can be extended to other multiple-legged robot with academic and application value.

多足机器人是当前机器人领域的研究热点，其拓扑结构比履带式或轮式机器人更容易适应复杂环境。由于多足机器人是“多输入-多输出-多末端”系统，使得运动控制器的设计更为复杂，其研究大多基于模块化控制并具有局限性。虚拟到现实的研究手段可以摆脱物理资源限制并避免训练中对实体机器人的损耗，成为机器人控制领域广泛认同的重要手段，其核心难题在于如何在虚拟环境学到有效的控制策略并直接移植到实体机器人上。本项目以六足机器人从现实到虚拟的物理建模为模型，以强化学习为手段，建立符合多足机器人运动特性的有效表征，并构建控制策略的评估标准和优化方法，从而学习到更精准有效的控制策略，最后通过在实体六足机器人上的实验，验证运动控制策略的可移植性。本项目实现一种可以在虚拟环境中训练多足机器人运动控制策略并将其直接移植到实体六足机器人的方法。该研究不仅针对六足机器人，对其它多足机器人的运动控制也具有指导意义。

多足机器人是当前机器人领域的研究热点和难点，其对于复杂非结构环境具有更好的适应性，同时也具有更高的系统复杂性。当前，由于多足机器人的控制器设计存在计算量大、复杂度高、迁移性差等问题和局限，在此背景下，本项目研究从虚拟到现实的六足机器人运动控制优化理论和方法，以在虚拟仿真环境中训练多足机器人的运动控制器并将其迁移到实体六足机器人为目标，研究了从现实到虚拟的六足机器人物理建模、建立符合六足机器人拓扑运动特性的有效表征、六足机器人的运动控制优化与评价指标的建立和从虚拟到现实的控制策略的实验验证，构建了六足机器人从实体到虚拟的模型构建方法、符合机器人拓扑构态特性的有效表征、控制策略的自主学习、运动控制策略自主优化以及从虚拟到现实的策略迁移，有效解决了六足机器人模型构建困难、运动控制规划器设计复杂、自主学习数据效率低以及从虚拟到现实的策略迁移差异大的问题，能够广泛应用于各种足式机器人，满足各种复杂地形和复杂任务的需要，并已经通过实验测试验证了上述方法在步行、滑雪、爬冰山等不同类型六足机器人上的有效性，能够适应楼梯、草地、泥地、雪面、冰面等复杂非结构化地形，提升智能六足机器人的自主性、适应性和智能性。本项目全面、超额地完成了预期研究成果，在NSR、IEEE RA-L、IJRA、IEEE ICRA等机器人领域国际期刊和会议发表论文13篇，已授权国家发明专利1项，已公开国家发明专利3项，培养兼具理论研究与技术应用能力的博士研究生3人、硕士研究生7人。项目研发的智能六足机器人参与了“奋进新时代”主题成就展、世界人工智能大会、世界机器人大会等多次公开展示，项目研究成果“六足机器人智能控制系统”获得2021年世界人工智能大会卓越人工智能引领者奖（SAIL奖）TOP 30，研究成果“虚实结合的多足机器人分层自适应规划算法”入围首届应用算法实践典范全球10强。