仿人灵巧手的操作规划方法研究

The project studies the intelligent manipulation planning method for humanoid dexterous hand. Although existing dexterous hands are similar to humans in flexible structure, they still lack the coordination ability of humans in perceiving the environment (eyes), autonomous planning (brain) and smart manipulation (hand). Aimed to equip the robotic system with hand-brain-eye coordination ability, we intend to embed the dexterous hand with an ‘eye’ for visual perception and a ‘brain’ for manipulation planning. The project will establish the observation system and the deep neural network, which simulate the eye and the brain respectively. The deep neural network is constructed and trained on a large number of manually annotated samples to learn the manipulation planning. We will establish the correspondence between the object and the operating postures hierarchically from local feature to global feature, low-level feature to high-level feature, and single mode to multiple modes.The network learns the ‘manipulation’ and improves the performance autonomously from continuous operation attempts and errors. By mapping the learned ‘manipulation’ to the dexterous hand, the robot can adapt to different environments and perform fine tasks. This project provides technical support for the intelligent operation of robots, which has significant theoretical and application values.

本课题研究仿人灵巧手的智能操作规划方法。目前，仿人灵巧手虽然具备了人手灵活的结构，但尚不具备人类在操作过程中感知环境（眼）、自主规划（脑）和灵巧操作（手）的协调能力。本课题拟为灵巧手植入感知环境的“眼睛”和操作规划的“大脑”，使其具备人类手-脑-眼协调控制的能力。本项目拟建立模拟眼睛的观测系统和模拟大脑的深层神经网络，构造适用于操作规划的深层神经网络，利用大量人手操作样本训练深层神经网络，从目标的局部到全局特征、低层到高层特征、单一模式到多种模式特征，挖掘目标与操作姿态之间层次化的对应关系，让网络学会操作，并在不断的操作试验和错误中提高操作的成功率，依靠自己学会“操作”。通过将网络学习的操作规划方法映射给灵巧手，使灵巧手能适应不同的作业环境，执行精细的任务，为机器人智能化操作提供技术支撑，具有重要的理论意义与应用价值。

人们对机器人智能操作的期盼，使仿人灵巧手的智能操作规划研究成为机器人领域中最具挑战性的研究问题之一。让机械手学会人手操作的方法，最快捷的途径就是借鉴人手已有的操作经验。本项目首先研究人类手部姿态与形状估计方法，将手部关节位置和角度映射给机械手，使其同步地按照相同姿态完成任务，实现主从式仿人协同操作。因此，手部姿态与形状估计方法的研究是本项目的关键问题之一。其次，在非结构化场景中，机器人要完成特定的任务，需要能够像人一样将感知与认知相结合，将学习到的知识应用于未知环境中，准确地估计目标在3D空间中的位置、姿态以及形状信息。为此，本项目另一关键问题是研究目标6D姿态估计与3D重建。此外，本项目还进一步研究人类抽象各类目标物体特点的能力，实现机械手操作方式在同类目标中不同实例上的迁移。最后，为了验证本项目中提出的灵巧手规划方法的操作能力，本项目建立一套集感知、规划和控制于一体的机器人抓取与操作系统，模拟人类“眼睛-大脑-手”协调一致的操作能力，实现了人手示教模式下的人机协同操作和自主感知环境目标的操作规划，成功地在几个典型抓取操作任务上得到验证。项目发表高水平顶级会议10篇，授权发明专利4项，获得省部级科技进步二等奖一项。培养机器人感知与操作方向的专门人才博士生6名，硕士生12名。2018-2019年期间，教师与研究生先后11人次参加在德国、美国、韩国举办的国际学术会议。