基于示教与自主学习的机器人类人技能学习关键技术研究

As the task for the robot become more complicated, manually robot programming is more time consuming and inconvenient. The robot should be capable of learning using supervised and reinforcement learning like human. Traditional methods only employ single learning method, have not achieved improvement through combination of different learning approaches. The topic is to analyze the way how human-being learn skills and use the idea on the robot skill learning tasks. This work intents to combine different skill learning methods to take full advantages of each one. The reinforcement learning algorithm is initialized using the policies learned from demonstrations, then deep learning method is used to enable the reinforcement learning algorithm with the capability of generalization. It also helps to solve the dimension curse problem. The proposed algorithm can save lots of time and effort during updating the robot with new skills.

随着机器人与人类工作和生活联系的日趋紧密，使机器人完成复杂任务的需求愈加迫切。以手动编程的方式增加机器人功能的做法不仅任务日益繁重且往往难以满足不断变化的新需求，迫切需要机器人像人类同时具备模仿和自主学习的能力。目前的技能学习技术往往是单一的方法，未能建立不同学习方法之间的联系，无法充分利用不同方法实现优势互补，因此面对不同场景复杂变化的任务常常难以为计。本课题将在前期研究积累基础上，深入分析人类技能学习机理，以示教学习和强化学习为研究对象，研究将二者有机的结合机制，有效利用不同学习方法实现优势互补。拟提出一种基于示教学习和强化学习的机器人类人技能学习框架，该框架不仅可以利用于仿真环境学习，还支持机器人通过与实际环境交互进行学习。该框架可以有效提高机器人自主学习复杂任务的能力，同时大大节约机器人技能更新的工作量。本课题研究是对现有研究难点和不足的一种创新性探索。

近些年来，制造业不断增长的个性化制造需求让“小批量、多品种”的产品模式成为一种新常态，尤其是劳动力密集型行业。这使得机器人的作业环境日趋多变，任务的复杂性、操作的灵巧性不断增加。示教学习作为机器人技能学习的一种重要手段，允许用户利用非编程的方式，快速的将任务展示给机器人，大大降低了技能展示的门槛。而要将示教过程中蕴含的技能有效的提取出来，需要设计相应的示教解析算法。. 示教解析中的重要任务之一是识别示教中的动作信息，本项目围绕这一重要问题，研究对示教中的操作类动作以及非操作类动作进行有效识别的方法。研究过程中，首先，提出了基于多通道深度学习模型的动作识别算法，该方法利用三通道动作历史图提取全局动作信息，利用骨骼点信息捕捉局部空间和时序特征，最后将物体-动作先验知识融入到识别模型中，以提升模型性能。实验结果表明该模型可有效识别人体动作。此外，与日常动作相比较，识别操作动作难度更大。原因在于一些操作类动作仅包含细微的关节动作，难以用视觉传感器捕捉。因此，为了解决这个问题，在视觉传感器的基础上，我们又增加了力传感器捕捉作用力并通过光学捕捉系统建立手指关节模型以获取手指运动信息，依次来全方位捕捉操作动作信息。利用同步机制将不同类型的传感器数据进行同步，然后分别设计了特征层融合机制及决策层融合机制模型，对操作动作加以有效识别。实验结果表明该模型可以有效识别7类操作类动作。最后，我们搭建了基于素描任务的机器人技能学习示范。利用深度学习模型，学习人脸的素描特征，然后设计了高效的路径规划算法，使得素描机器人可在短时间内完成素描任务。