集成Kinect和DSLR的室内无人车协同多基线多特征精确同步定位与地图构建

In an attempt to break through the limitations of single sensor source, inconvenient platform, the expense of equipment, and to solve the contradiction between the intelligence and accuracy of simultaneous localization and mapping (SLAM), this project will investigate accurate SLAM by synergizing multi-source (Kinect and DSLR) sensors, multiple baseline and multiple features (point and line) for indoor unmanned vehicle. Furthermore, synergetic inversion mechanism and methods of geometric remote sensing based on color camera and depth camera, multiple baseline and multiple features will be explored as below: a) create a priori knowledge base involving offline camera calibration and sensor orientation, which helps to guide subsequent processing by developing a set of data mining methods that will transform data into information and information into knowledge; b) establish theory and methods of a Multi-baseline-and-multi-feature-based position and pose estimation by utilizing generalized point photogrammetry that includes the physical points, the feature line points, and the invisible points into an adjustment model, which can continuously improve the camera’s accuracy of position and pose; c) study dialectics-based systematic method of point-line synergistic image matching, which can enhance the automation and fineness of 3D mapping; d) enrich the principles of uncertainty and synergetic system control by gaining an insight into uncertainty and synergetic controlling system quality from local to global SLAM. The proposed project will promote interdisciplinary integration, innovation, and provide new ideas for SLAM.

为突破传感源单一、平台不便和设备昂贵的缺陷，并解决同步定位与地图构建中智能化与精确度不可兼顾的矛盾，开展多源（Kinect和DSLR）传感器协同多基线多特征（点线）的室内无人车同步定位与地图构建研究。将从以下方面探索彩色相机与深度相机协同多基线多特征几何遥感反演室内场景三维模型的机理与方法：1) 通过离线相机检校与传感器定向，转化数据为信息、挖掘信息为知识，以构建先验知识库引导后续定位与测图处理；2）运用广义点摄影测量理论建立多基线协同多特征（可视的几何点、不可视的灭点和直线）位姿估计的理论与方法，提升定位与定姿精度；3）基于“辩证法”研究多基线条件下点线特征互为协同匹配的系统方法，增强三维地图构建的自动化和精细度；4）丰富同步定位与地图构建的不确定性与质量控制原理，从局部到整体洞悉不确定性并协同控制系统质量。本课题可促进多学科交叉融合与创新，开辟智能化、精确化同步定位与地图构建的新思路。

为突破传感源单一、平台不便和设备昂贵的缺陷，并解决室内场景移动测量车同步定位与地图构建中智能化与精确度不可兼顾的矛盾，开展多源传感器协同多基线多特征（点线）的室内无人车同步定位与地图构建研究。研究内容与结果如下：（1）多源多视室内无人车平台的检校与定向技术：①利用高精度室内三维控制场，建立了Kinect的RGB-D深度相机的3D误差补偿模型；②研究了无控制点和GPS信号条件下室内三维测图技术，利用深度相机提供绝对参照，与普通RGB相融合，并与DSLR生成的三维点云进行融合生成高密度、高精度的室内场景DSM。（2）多特征协同多基线定位与定姿的理论与方法：提出了面向单体建筑物精细化三维重建的一种从粗到细再到更精细的移动平台贴近摄影测量方案，即，系统设计并对比了移动平台的多种路径规划下空中三角测量（定位与定姿）和密集匹配处理组合策略的三维重建方案；生成的模型整体效果更好、精度更高，纹理更细腻真实。（3）多基线条件下点线特征协同匹配的系统原理：①利用核线几何与局部投影变换不变的性质，提出了基于随机游走图匹配的立体像对线段匹配方法；② 针对双视和多视影像，提出了点线协同下基于图匹配的线段匹配算法，即：将单应性、核线和三视张量作为几何约束融入到点线图中进行线段匹配。与国际先进的算法对比都获得了优秀的实验结果。（4）同步定位与地图构建的不确定性与质量控制：提出了模型-数据联合驱动三维建模的方法。不仅综合了主动和被动传感器（RGB-D）的优点；引入了基于深度学习的点云实例分割网络，提出了基于广义点规则几何物体三维重建算法，同时兼顾三维建模的精度和自动化，而且避免了点云数据的冗余，实现了数据的压缩。本研究可促进多学科交叉融合与创新，开辟智能化、精确化同步定位与地图构建的新思路；为低成本、无控制、精细化实景三维城市室内场景建模提供一个具有良好可行性、有效性和适应性的解决方案，助力智慧城市建设。