复杂环境交互下作业型机器人实时抓取运动规划及优化策略研究

Motion planning for robotic manipulation system becomes an active research area in recent years, particularly with the issues of modelling and monitoring of environmental interactions, recognition and grasping of deformable objects and optimization in complex and uncertain scenarios. This project starts with analysis of robot-object interaction characteristics to establish a quasi-static interaction model based on limit surface theory. A probabilistic physics engine is introduced as a state propagator to study the propagation mechanism of global uncertainty. Subsequently, we learn a distribution of trajectory demonstrated trajectory by human experts and use it to guide the trajectory optimization process. A list of cost objectives are proposed considering visual visibility constraints, the robot and grasp constraints, joint limits, clutter behavior cost terms, collision cost terms, trajectory smoothening terms and trajectory tracking (matching) cost terms, etc. The project proposes a framework of real-time and closed-loop multi-sensory feedback control to realize recognition and grasping of the unknown objects (especially deformable ones), and the inter-objects interactions can also be monitored and controlled by doing so. Finally, the proposed approaches will be applied on vegetable harvesting and fruit picking in agriculture, and autonomous garbage (e.g., protection suit, respirator, slightly flexible wires, and curtains) sorting in nuclear facilities.

作业型机器人运动规划与应用是近年来的热点，尤其是针对复杂不确定交互环境下的建模和监督、对可变形物体的识别、抓取及优化等复杂问题。本项目拟从机-物交互的特征分析出发，建立基于极限平面理论的准静态交互模型，继而引入随机物理引擎，对复杂环境下全局不确定性的传播机制进行研究。其次，研究专家示范轨迹的分布特性，并将其嵌入机器人运动轨迹的学习和训练中，进而提出实际的成本函数和约束项（如视觉可见性约束、机器人运动及动力学约束、关节限制、机-物及-物-物交互成本、轨迹平滑化成本、轨迹追踪成本等），通过对权值的调整实现对专家示范轨迹进行跟踪。接着，设计实时闭环多传感器反馈控制系统框架，对物体（特别是可变形物体）进行识别与抓取，并对物-物交互进行监督并间接控制机器人的运动轨迹。最后，实际应用于农业农产品自动化采摘和模拟核设施环境废弃物自动分拣场景中进行验证，为高效解决实际运动规划问题提供理论和实验依据。

作业型机器人运动规划与应用是近年来的热点，尤其是针对复杂不确定交互环境下的建模和监督、对可变形物体的识别、抓取及优化等复杂问题。项目从机-物交互的特征分析出发，建立基于准静态交互模型，研究专家示范轨迹的分布特性，并将其嵌入机器人运动轨迹的学习和训练中，并设计实时闭环多传感器反馈控制系统框架，对物体（特别是可变形物体）进行识别与抓取，并对物-物交互进行监督并间接控制机器人的运动轨迹。为高效解决实际运动规划问题提供理论和实验依据。.主要研究内容：1）机器人与环境动态、准静态交互建模与分析：我们提出一种联合物理特性及分析学特征的方法，分析交互过程中的力学建立动态及准静态机物交互模型，并以此来预测被交互物体相对于机器人的运动模态。2）基于分层视觉架构的机器人操作可变形物体策略研究：我们提出了一种能够感知的新颖的机器人视觉架构并了解可变形物体，将低级3D视觉特征转换为丰富的语义支撑灵巧操作的描述。3）基于RGBD的目标物体检测与分类策略研究：提出了一种弱监督学习的方法来从未标注的视频中学习深度卷积神经网络。4）研究基于概率运动原语和专家示范学习的局部轨迹优化算法研究：对机器人运动轨迹的动态分布进行采样和学习，并对轨迹多样性进行解码，对理想状态施加条件，以生成与专家示范轨迹相似的运动轨迹。5）研究机器人系统非线性摩擦力的滞后特性，建立了机器人自驱动运动生成机制。6）研究作业型机器人控制系统基准化模型，设计不同复杂度和不确定性的作业场景，对于一些基础控制器和先进控制器，对于一些关键的基准化指标进行了研究。.重要结果及其科学意义：在复杂不确定场景下准静态机-物交互建模方面，建立了机器人与环境动态、准静态交互模型，建立了机器人自驱动运动生成机制，并验证了系统动力学的周期性响应；在复杂不确定场景下机器人对柔性物体识别及抓取方面，提出了基于分层视觉架构的机器人操作可变形物体算法，并提出了一种弱监督学习的方法用于基于RGBD的目标物体检测与分类中；在复杂不确定场景下专家示范轨迹生成及优化方法方面，提出了基于概率运动原语和专家示范学习的局部轨迹优化算法，并建立了作业型机器人控制系统基准化模型。该课题为复杂环境交互下作业型机器人实时抓取运动规划及优化策略的研究提供了新思路和参考依据，具有很好的科学意义，重要的理论价值和良好的应用前景。