基于区域切换和回归森林算法的大尺度场景表面重建研究

3D scene surface reconstruction is a key technology of augment reality and new style human-computer interaction which are highly anticipated in recent years. To improve the precision and scale of reconstruction, the project proposes (1) a method based on region shift to extend the scale of 3D surface reconstruction, (2) motion compensation of camera, weighted ICP point cloud alignment and combined estimation with multiple frames to improve camera tracking, (3) training with regression forest to solve the relocation problem of camera for large scale reconstruction, (4) volumetric data structure optimization based on octree for memory resource better utilized. Our work will provide theoretical basis and technical support for research and development in the field of augment reality and new style human-computer interaction in China.

三维场景表面重建是近年来备受瞩目的增强现实和新型人机交互的关键技术，为进一步提高重建的精度和尺度，本项目（1）研究一种切换工作区的方法，解决三维表面重建场景尺度扩展问题；（2）提出摄像机姿态的运动补偿、带有权重的ICP点云配准、摄像机姿态的多帧联合估计等方法，解决摄像机追踪优化问题；（3）利用回归森林算法训练已知场景中每个像素点的世界坐标，解决大尺度场景中摄像机姿态估计的重定位问题；（4）研究一种八叉树形结构，对空间体数据结构进行优化设计，解决有限计算资源（内存）利用的优化问题。本项目研究工作将为我国在增强现实和新型人机交互领域的研发提供理论基础和技术支撑。

本项目提出了一种新的基于Frame-to-Model的SLAM系统框架（称之为FTM-SLAM），并在此基础上实现了一套用户能够直接用手触控的增强现实人机交互系统。主要创新点和贡献总结如下：.（a）在FTM-SLAM框架中的视觉里程计部分，为了提高三维注册技术在快速运动条件下的鲁棒性以及不同环境下的自适应性，提出了一种RGB-D图像稠密匹配方法。该方法不需要提取特征点，而是将RGB-D图像与场景局部模型进行稠密匹配，直接构建耦合了稠密的ICP（Iterative Closest Point）残差与彩色残差的能量方程。同时，针对局部模型的稀疏性特点，设计了面向GPU并行算法的八叉树森林结构，在减少存储资源消耗的同时提高了算法速度。.（b）在FTM-SLAM框架中的后端优化部分，针对摄像机长时间运动的误差累积问题，提出了一种基于Frame-to-Model的后端全局优化方法。基于ORB(Oriented FAST and Rotated BRIEF)二值特征构建的视觉词袋树和模型配准约束，提出了基于局部模型的多级一致性检验方法实现了快速准确的闭环检测。为了进行全局轨迹优化，构建了一种模型-位姿图（Graph），图中不仅包含摄像机位姿节点，还将局部模型的位姿加入图中，这样在优化时能够同时保持模型与摄像机以及不同工作区之间的局部几何约束。.（c）提出了一种基于回归森林的摄像机重定位算法，能够同时对已知场景中单帧RGB-D图像和单帧RGB图像进行摄像机6自由度精确位姿估计。与传统的基于图像或者稀疏特征点的方法不同，该算法无需提取特征点，而是通过回归的方法来解决摄像机重定位问题。算法能够同时适应稠密和稀疏计算，从而适应不同的场景环境。提出的具有旋转不变性的二值特征响应函数，对于与训练集中图像有较大旋转差异的待测帧具有较好的鲁棒性，提出的各向异性的高斯模型能够更好的拟合样本的空间分布。