基于深度强化学习的服务机器人智能感知与自主运动研究

Aiming at the problems of the service robot in environmental perception and control, such as, poor robustness of the semantic map and weak adaptability of path planning to environment, learning (DL) and reinforcement learning (RL) are combined and an intelligent sensing and autonomous motion method for service robot using deep reinforcement learning (DRL) is proposed under the framework of model-based RL . RGBD data, captured by robotics system in the process of robot- environment interaction, is used to reconstruct the 3D semantic map of the environment, then the reconstructed 3D semantic map and current image data are used to optimize the action strategy of the robot, and finally mobile robot can autonomously get to the target location without collision only using the raw vision information in the natural scenario. In order to improve the reconstruction accuracy of the 3D semantic map, a convolutional neural network（CNN）is introduced into the loop closure detection for 3D semantic SLAM and a high precision robust 3D semantic map reconstruction method based on convolution neural network is proposed; The research can significantly improve the reconstruction accuracy of the 3D semantic map and adaptability of path planning to environment, and interaction efficiency between mobile robot and environment. This research not only has important theoretical innovation significance to improve the capability of intelligent sensing and autonomous motion of service robot, but also has broad application prospects.

针对目前服务机器人在环境感知和运动方面存在语义地图鲁棒性差、路径规划对环境适应性弱的问题，本项目将深度学习强大的感知能力和强化学习优秀的决策能力相结合，在基于模型的强化学习理论框架下，提出一种基于深度强化学习的服务机器人智能感知与自主运动方法。利用机器人与环境交互过程中采集到的RGBD数据建立环境3D语义模型，并利用该模型和当前采集到的数据优化机器人的动作策略，最终在真实环境下实现移动机器人根据原始视觉信息，自主无碰撞的运动到目标位置。同时，为了提高了环境3D语义地图重构的精度，本项目将卷积神经网络（CNN）用于3D语义SLAM闭环检测，提出了基于CNN闭环检测的3D语义地图构建方法。本项研究可以显著地改善环境3D语义地图重构的精度，增强路径规划算法对环境的适应性，提高机器人与环境的交互效率。因此，本项研究对提高服务机器人智能感知与自主运动能力具有重要的理论创新意义和广阔的应用前景。

针对在非结构化、高动态环境下，服务机器人存在语义地图鲁棒性差、路径规划对环境适应性弱的问题，本项目开展面向服务机器人的环境感知与自主运动技术研究。首先，针对非结构化、高动态环境中地图构建效率低、精度差、抗扰能力弱等问题，本项目提出了一种改进的集中式协同单目SLAM方法，该方法使整个机器人系统能够在强外界干扰与大视角变化情况下快速、准确的构建地图模型，显著提高了机器人三维同步定位与地图构建的鲁棒性与准确性。接着，针对语义地图构建中机器人运动自主性弱问题，提出了一种移动机器人自主语义地图构建方法，该方法将机器人自主探索算法和基于深度学习的语义地图构建算法相结合，能够在移动机器人自主探索过程中构建目标场景的高精度3D语义地图，提升了机器人建图过程中的自主性。最后，针对目前服务机器人路径规划对环境适应性弱的问题，提出一种语义驱动的机器人自主导航方法，该方法根据将当前的环境信息重构为一种更高效状态描述，并根据记忆的状态描述结果生成高通用性的运动决策。从而使机器人能够在非结构化的、存在不可预知性的工作环境中，利用先验知识与视觉信息完成从所在位置到目标物体的自主导航运动，解决不同场景下路径规划算法存在的目标“泛化”问题，进一步增强机器人对新环境的适应性。同时已将上述研究成果通过模拟环境测试、现实场景实现等方法验证了其有效性，可进一步应用于智能巡检、建筑装修、应急救援等。项目共计发表论文23篇，其中，SCI检索论文6篇、 EI检索论文21篇；共计申请发明专利13项，其中授权2项。