基于虚拟个体行为逼近的多机器人自学习决策与协调控制一体化

To tackle the complex conditions in flexible task, such as uncertain environment, variable load, and unpredictable disturbance, the project mainly investigates the integration of dynamic decision-making and coordination control among multiple robots. A multi-layer distributed decision-making–control architecture for multiple agents will be developed, in which a virtual agent is designed to regulate individual behavior, so that based on it, the iterative cooperative strategy learning and the finite-time consensus control work together smoothly. To meet the requirements of cooperative decision when a flexible task is being executed, a knowledge transfer-based continuous space distributed learning will be studied to ensure efficient self-learning decision-making of multi-robot under an unknown environment. With the conditions of unknown dynamics characteristics resulting from variable load, and unpredictable disturbance taken into account, a robust adaptive dynamic programming-based model reference adaptive control method will be studied, which makes an individual robot enable to approximate a predetermined reference behavior model adaptively, even whose dynamic model is unknown in priori. Then this reference behavior model serves as a dynamic model of a virtual agent, based on which a finite-time consensus protocol will be designed. Finally, a simulation system and a multiple manipulators experimental system will be constructed, in order to test the integration of self-learning decision-making and coordinate control, from the aspects of effectiveness and engineering applicability. The project has important theoretical significance and application prospect for providing a new solution to design intelligent decision-making and control system for multi-robot systems, which are applied for the flexible tasks of intelligent manufacturing.

针对柔性任务具有的未知环境、变负载和未知扰动等复杂情况，本项目主要解决多机器人动态决策与多个体协调控制相融合的问题。研究构建多个体的分层分布式决策—控制架构，建立规范个体行为的虚拟个体，并基于其实现迭代合作策略学习和有限连续时间一致性控制的融合。对执行柔性任务时多机器人协同决策需求，研究结合知识迁移的连续空间分布式策略学习方法，保证在未知环境下多机器人高效自学习决策；考虑机器人变负载导致动态特征未知及未知扰动情况，研究基于鲁棒自适应动态规划的模型参考自适应控制方法，实现未知动态个体对理想参考行为模型的自适应逼近；以参考行为模型为虚拟个体的动态模型，设计有限时间一致性协议，实现与迭代策略学习的结合。最后，建立多机械臂仿真实验平台，验证自学习决策与协调控制一体化方法的有效性与工程适用性。本项目将为智能制造领域面向柔性任务的多机器人系统提供新的智能决策和控制设计方案，具有重要理论意义和应用前景。

本项目为实现多机器人在变负载和未知扰动环境下的策略实时优化与协调控制，构建了一种结合合作策略优化与一致性控制的优化模型，以虚拟个体的参考行为模型为桥梁，形成由合作策略学习、一致性控制、MRAC构成的分层决策-控制架构。首先，针对连续空间中多机器人系统的合作策略学习问题，提出基于连续空间合作策略搜索的分布式同时学习方法；同时，研究基于高斯核函数的双阶段值迭代算法，解决连续空间合作策略学习的泛化问题；针对多机器人系统从头学习效率低的问题，将一种知识迁移机制用于多机器人系统的智能决策和自学习控制中。其次，为实现个体动态未知和随机环境下异构多智能体系统的一致性控制，构造确定性参考行为模型，提出基于自适应动态规划的模型参考自适应控制方法，实现智能体行为对参考行为模型的逼近；针对鲁棒控制对精确数学模型依赖性的问题，提出了一种鲁棒ADP方法，实现了在变负载、未知扰动条件下的高品质高精度MRAC。此外，考虑到离散时间分布式策略学习与多机器人期望内模式跟踪控制的配合，需要实现有限时间内一致性控制才能保证合作策略学习的有效进行，首先针对具有随机扰动的未知环境下的线性系统的最优跟踪控制问题，研究了基于值迭代的最优跟踪控制方法；然后针对异构非线性多智能体系统，提出了基于参考模型的分布式一致性控制方法。通过搭建针对多机器人系统的仿真系统及实际系统实验平台，验证了所提方法的可行性和高效性。本项目的研究为复杂未知环境下的多机器人系统提供了一种切实可行的合作策略优化与一致性控制方法，有力促进了协作式多机器人系统在复杂任务与未知环境下的应用，具有重要的理论意义和工程应用价值。