动态环境下服务机器人基于视觉的环境感知与自主行为学习

There is an increasing trend of robots being moved to domestic environments. In order to achieve dexterous operation, it is expected to improve the abilities of robots to adapt to dynamic environments and various tasks. In this project, by learning human’s adaptabilities, robots are expected to learn the movements from demonstrations and construct the basic motion primitive library. The robot can pick one or some motion primitives from this library and generate the desired trajectory. The main contents include: (1) scene recognition and behavior prediction of the moving objects via the deep learning method; (2) scalar recovery of monocular visual odometry and mapping; (3) representing motion demonstrations with vison-action features and constructing the basic motion primitives library based on those features; (4) generating a new trajectory based on the learned vison-action features, and assembling and optimizing several motion primitives to construct a complex movement; (5) using the deep reinforcement learning method to generate the movement autonomously, whilst in this way, the robot can perform dexterous operations; (6) designing and building experimental environments to verify the effectiveness of the proposed methods. The research platform is a wheeled robot equipped with a robot arm. This project aims to study the mechanism of the behavior generation process of human beings under dynamic environments and various tasks. We present a new robot trajectory representation and generation methods. Our methods are proposed to improve robots’ adaptation to environment and task changes. It can also help robots for dexterous operations. Our work will promote the research and large-scale applications of robots, especially service robots, into our daily life.

随着服务机器人不断实用化，提高机器人应对动态环境和任务变化的能力是机器人实现灵巧操作亟待解决的问题。本研究拟通过学习人类应对动态环境和任务变化的轨迹生成机理，探索动态环境下服务机器人基于视觉的环境感知与自主行为学习新的理论和方法。研究内容主要包括：(1) 基于深度学习的环境理解以及对运动物体的行为预测; (2) 恢复绝对尺度的单目视觉运动估计和地图构建；(3)利用视觉-动作对示教轨迹进行表示，并构建基本动作单元库；(4)基于视觉-动作的轨迹表示方法在动态环境中的轨迹生成，并通过组合优化的方法，实现复杂动作的灵巧操作；(5) 利用深度强化学习，使得机器人能够根据环境和任务变化自主规划运动轨迹，自主生成灵巧操作动作序列；(6) 针对典型环境、典型行为设计实体实验。基于视觉的环境感知与自主行为学习的突破和创新，对解决机器人环境和任务适应性、提升服务机器人真实现场的应用能力具有重要的意义。

本项目围绕动态环境下机器人环境感知与自主定位、行为学习、自主轨迹生成与灵巧操作等方面研究了服务机器人在感知、学习、操作方面的算法和关键技术，主要成果包括：（1）在动态环境下的服务机器人环境感知与自主定位方面，针对单目视觉地图构建与运动映射问题，提出了基于道路几何模型和深度估计的尺度计算算法，设计了基于映射同态性与区域一致性的网络模型，有效提升算法的精度与泛化性；针对场景实时映射与时空表征问题，提出基于运动模型与融合车辆和视觉路标的SLAM方法，探究深度学习特征压缩算法，设计基于有向注意力图的无偏见感知网络，克服尺度漂移问题，增强环境感知效能与实用价值；针对鲁棒定位问题，提出点-线结合的视觉惯性里程计与基于多传感器融合的2.5维建图方法，提升动态环境中的定位精度。（2）在机器人行为学习、自主轨迹生成与灵巧操作方面，针对复杂示教轨迹表示问题，利用视觉-动作特征，提出基于线性规整与弹性分析方法的轨迹特征表示方法，设计基于混合高斯模型与动作特征模板的示教轨迹生成算法，探究基于强化学习与社会规范的安全避障算法，提升轨迹生成的准确性、自然性与实用性；针对精确感知与灵巧操作问题，研发基于多维先验知识的大规模6D物体位姿数据集生成系统，提出基于实例分割网络与迭代优化方法的位姿估计方法，利用联合语义与多维空间信息的位姿估计方法，以及重建引导下服从几何一致性约束的6D位姿估计算法，提升了在遮挡、弱纹理、尺度信息缺失情况下位姿估计的准确性与鲁棒性。（3）在以自主智能机器人平台为载体的验证与应用方面，完成了多种自主智能机器人平台的研发和试制，在多种实际应用场景中，对研究成果进行部署、验证与优化。动态环境下服务机器人感知、学习与操作能力的突破，解决了行业关键技术问题，持续为机器人在实际场景中的智能化与无人化赋能。