基于广义视觉的机器人直接定位与建图理论、方法研究

The main bottleneck of robotic localization and mapping using computer vision includes: 1) traditional cameras have limited dynamic range; 2) sparse features based localization method has a low utilization rate of environmental information. To solve these two problems, generalized vision based direct localization and mapping theoretical framework are proposed when we learn from the latest research results on Multispectral Visual Odometry (MVO) and Direct Visual SLAM. First, the data from multi-spectrometer, visible light camera, infrared camera, laser scanner and time of flight (TOF) depth camera are synchronized and aligned. A pyramid pixel model is used to represent the generalized visual information which is employed to solve the first problem on the lack of environmental information. Then, under the framework of generalized visual information, the direct localization and mapping method is studied without using the feature matching and tracking, which is aiming to solve the second problem on the issue of low usage of image information. Among these research contents, one of the difficulties is to study the semi-dense pyramid pixel model based direct VO and SLAM method. The ultimate goal is to improve the accuracy of localization and mapping for robot while enhancing the adaptive ability to the different environment such as day and night, indoor and outdoor, artificial and natural environments.

制约机器人视觉定位与地图构建性能的主要瓶颈有：1）传统相机具有有限的动态范围感知能力；2）基于稀疏图像特征的视觉定位方法对环境信息的利用率低。针对上述问题，我们借鉴多光谱视觉里程计和直接视觉SLAM的最新研究成果，提出基于广义视觉的直接定位与建图理论框架。首先，时空配准并融合多光谱仪、可见光相机、红外相机、激光雷达、TOF深度相机等传感器图像，通过金字塔像素模型建立广义的视觉信息表达，弥补第一个问题中关于环境信息感知不足的缺陷；其次，在广义视觉信息框架下，研究无须特征提取与匹配的直接定位与建图方法，解决第二个问题中关于图像信息使用率不高的问题。其中的难点是研究基于半致密金字塔像素模型的直接视觉里程计方法与视觉SLAM方法。最终目标是提高机器人定位与建图的精度，增强对白天与黑夜、室内与室外、人工与自然等不同环境的适应能力。

同时定位与地图构建是机器人自主能力提升的关键技术，本项目针对机器人同时定位与地图构建研究领域中存在的信息利用率低，容易受动态因素干扰的问题，提出了广义视觉的概念，并在此基础上开展了基于广义视觉信息融合的定位与建图理论方法研究。.主要研究内容包括三个方面：（1）针对不同传感器数据的特点，研究了一种面向广义视觉传感器的联合标定方法，实现了多个传感器时间与空间的精确配准。同时，重点研究了广义视觉数据的表达形式，形成了一种科学的数据表达与存储结构。为后续的视觉里程计方法和视觉SLAM方法提供了可靠的数据保障。（2）从地图模型表达、信息关联性、剔除动态干扰、抗光照变化等方面入手，首先解决了广义视觉信息的数据关联问题，提出并设计了基于多特征与无特征的视觉位姿估计理论框架，然后根据该框架设计了相应的位姿估计算法。其中，重点研究了包括不同特征，不同数据源间，不同数据帧间的广义视觉图像的信息利用问题，设计出了多种鲁棒且准确的位姿估计方法。（3）进一步研究了基于广义视觉信息的新型SLAM方法，进一步提高SLAM方法的鲁棒性。在前述位姿估计方法研究的基础上，设计了广义视觉SLAM框架，然后重点研究了其中的关键帧构建方法、鲁棒的位姿估计算法以及可靠的闭环检测与鲁棒的全局地图优化方法。.通过本项目的研究，显著提高了机器人自主定位与建图的稳定性和鲁棒性，通过发挥广义视觉信息的优势，使本项目所提出的方法能够使机器人同时适应室内与室外环境、白天与黑夜环境、人工与自然环境、动态与静态环境等多种不同条件下的导航定位与环境构建需求。