基于三维视觉的机器人室内场景语义地图创建方法研究

Robot map is the basis for robot perception and task performing. 3D camera can provides 3D sensing by capturing an image along with per-pixel 3D space information in limited range and resolution. As more and more robots work in the largescale enviroment as well as multiple and complex tasks, robot map with 3D point clouds acquired by 3D camera has great limimitations in semantic interaction with human,map updating and mermory. Consequently, this project focus on Robot 3D semantic map building for indoor environment based on the fusion of 2D/3D cameras to improve the robot abilities on complex task handing and semantic interaction with human. The main research contents are as follow:.① Research on hierarchical hybrid semantic mapping by taking advantages of 3D mapping with points of cloud, feature mapping and semantic mapping, aims to improve performance of robot navigation, semantic interaction, place recognition and localization..②Accurate and robust 3D motion estimation and path optimization methods based on the fusion of 2D camera and 3D camera to improve the visual odometer’s performance on precision, computation complexity and robustness for different situations. .③Based on the 2D image and 3D space information,presenting 3D nature enviroment segmentation methods and the definition about object knowlegement model to specific object recognition..④Using sucessive 3D visual frames, reasearch on semantic node classfication and map building based on the specific object and and 3D space feature for large scale eviroment.

地图是机器人环境理解和执行交互任务的基础。三维摄像机可获取场景一定距离和分辨率的二维图像信息和三维信息。随着机器人任务的逐步复杂和工作范围的增大，基于三维视觉传感器的点云地图在人机交互、存储和计算更新方面存在严重制约。为此，本项目引入二维/三维摄像机融合的复合三维视觉系统，开展机器人室内场景复合语义地图创建方法研究。主要包括：.①建立层次式复合三维语义地图模型，有效融合三维点云地图、特征地图和语义地图优势，提升大场景下机器人导航、智能交互和快速定位能力；.②研究基于二维和三维摄像机融合的机器人三维运动估计和路径优化方法，提高视觉程计在不同场景下的鲁棒性和估计精度；.③基于场景图像和三维信息，提出无先验知识的三维场景智能分割方法，建立分割区域目标的词袋描述模型，研究场景特定目标语义识别方法；.④根据连续三维视觉信息，探索基于语义目标和几何特性的大规模室内场景节点语义识别方法，实现语义地图创建

地图是机器人环境理解和执行交互任务的基础。三维摄像机可获取场景一定距离和分辨率的二维图像信息和三维信息。随着机器人任务的逐步复杂和工作范围的增大，基于三维视觉传感器的点云地图在人机交互、存储和计算更新方面存在严重制约。为此，本项目引入二维/三维摄像机融合的复合三维视觉系统，开展机器人室内场景复合语义地图创建方法研究。主要包括：①在运动估计方面，提出了基于视觉和IMU融合的位姿估计方法、基于自适应特征的精确位姿估计方法。满足不同应用场景位姿估计需求。②在三维彩色地图创建方面，提出了基于深度学习的特征描述子的闭合回路检测方法、基于关键帧的移动机器人局部三维地图创建方法、提出一种基于点线特征融合的移动机器人三维地图创建方法。③在三维场景识别分类、检测、语义分割方面，提出了基于局部共享特征的处理模型和基于学习上采样的语义分割网络、基于分通道卷积的语义分割网络、融合深度学习和掩模的场景语义识别分类检测方法、基于数据预处理的点云语义分割网络和基于扩张点卷积空间金字塔池化的点云语义分割网络，为机器人场景识别与理解提供了重要支撑。④在层次式复合三维语义地图研究方面，提出了基于目标标签和场景标签的双监督语义节点识别方案，提高了场景分类精度；提出了基于体素化点云标记拼接的语义地图创建方法，实现三维语义地图的快速拼接构建。项目任务成果共发表16篇论文，其中SCI源刊论文14篇；申请国家发明专利10项，培养博士研究生5名，硕士研究生9名，获省部级一等奖2项。项目技术成果可推广应用服务机器人、特种机器人等移动机器人，提升机器人环境感知与智能交互水平。