人类知识引导的灵巧手抓取规划研究

Dexterous robot hand grasping and manipulation planning is an important research topic in robot domain. It is a shortcut for dexterous robot hand to learn grasping and manipulating objects independently by absorbing the experience accumulated in human evolution. The application aims at adopting deep neural networks to sense, to understand and to learn human’s behaviors when observing a person grasping different objects. By transferring human’s grasping experiences to dexterous robot hand, the grasp planning will be obtained. The achievements of this project will benefit to discover the mechanism on how the dexterous robot hand can learn the human hands’ actions. It will also be a good foundation for autonomous grasp planning under unstructured environments, and will provide theoretical supports for robots intelligent manipulation planning. The main research contents include three parts. (1) Design an optimal anti-occlusion observation system to record the hand actions of grasping an object, and build a labeled dataset suitable for learning grasp task. (2) Research the state and action mapping policies from the observed data, which includes high dimensional state representation models and data processing methods to decrease the influence of the occlusions and noise. (3) Research the transferring methods from the human hand pose to the dexterous robot hand pose. The final grasp planning should have grasping force feedback and grasp policy refinement ability in the dexterous robot hand working space.

灵巧机械手的操作规划是机器人研究领域的一个重要课题。吸收人类进化过程中积累的操作经验，使灵巧手学会感知和灵活操作是灵巧手学会自主操作的捷径。本项目拟采用深度网络感知、理解、学习人手抓取物体时的行为，将人类抓取经验传递给灵巧手，完成灵巧手的抓取规划。本项目研究成果将有助于揭示灵巧手学习人手动作的机制，为下一步非结构环境下灵巧手自主规划抓取操作打好基础，为机器人的智能操作规划提供理论支撑。具体研究内容包括（1）抗遮挡人类手部操作过程的观测、采集：建立手部抓取物体的最佳观测系统，建立适用于抓取任务学习的标注数据集；（2）状态-动作关联规则的研究：建立抓取状态观测数据的高维表达模型，建立降低遮挡、噪声等干扰影响的数据处理机制（3）人手操作智能向灵巧手迁移方法的研究：建立具有抓握力度反馈信息的抓取规划模型，研究灵巧手操作空间的抓取策略优化调整方法。

非结构化环境中，让五指灵巧手自主给出抓取策略是具有挑战性的任务。通过视觉感知引入人类经验，帮助灵巧手学习抓取策略，是帮助机器人适应多变环境和复杂任务，走向实际应用的有效途径之一。这也是本项目的研究目标。.与简单的二指夹持器相比，五指灵巧手自由度高，抓取时手指与物体多点接触，难以建立合理的运动学和动力学模型，给传统抓取规划方法带来较大困难。本项目采用深度学习，通过视觉感知学习人手抓取经验，进而实现五指灵巧手抓取规划的研究是有重要科学价值的有益探索。项目主要研究内容：①物体抓取数据准备及数据采集标注系统开发。获取人手抓取经验需要大量有标注的数据，但目前有标注的手部抓取和操作记录有限，缺少为多指灵巧手学习人手抓取策略建立的专门数据集，影响高自由度多指灵巧手抓取规划深度模型构建的研究.②状态—动作关联规则研究。研究人手抓握物体的动作特点，揭示状态与动作之间的关联规则，从而保证从人类获取的经验能够帮助灵巧手建立成功率较高的抓取策略.③策略迁移及灵巧手策略优化研究。灵巧手与人手有结构、尺寸、自由度等多方面差异，需要研究合理的抓取动作迁移策略以完成人类经验向灵巧手的传递。在灵巧手工作空间，需要具备抓取策略优化机制，克服映射误差、状态变化的影响，完成成功抓取。.研究成果：①建立了抓取数据采集系统，包括人手抓取动作观测与感知、人手动作向灵巧手映射、灵巧手抓取质量评估主要环节.②构建了适用于多指灵巧手的功能性抓取数据集.③建立了验证灵巧手抓取规划模型性能的虚拟仿真平台和实际硬件平台.④建立十余种方案独具特色的人手抓取姿态感知模型.⑤建立了抓取策略映射方案及灵巧手抓取策略优化模型.⑥4项研究成果在CVPR、ICCV等计算机视觉领域顶级会议上发表，发表SCI论文7篇，EI论文11篇。获授权专利4项，软件著作权2项。⑦培养机器人感知与操作方向的专门人才，博士4人，硕士14人。