几何与语义相结合的复杂室内场景三维重建技术研究

This project aims at 3D reconstruction for indoor complex scenes using RGBD sensor. Three unsolved problems will be studied in this project. .The first is the problem of sensor tracking failure in indoor weak texture and weak geometric feature scenarios. The second is accumulated odometry errors may result in distortions in the reconstructed 3D models. The third is unobserved or occupied spaces affect the completeness of the 3D models. This project will integrate the 3D geometric information, 2D local texture information and global semantic information. The following 6 issues will be investigated: 1) noise model estimation algorithm of depth sensor; 2) depth SLAM algorithm based on dense points and plane features; 3) sensor tracking algorithm based on sampling evaluation criterion; 4) volume data fusion algorithm based on sensor noise model and region of interest; 5) description and registration algorithm based on convolution neural network for the combination of 3D geometry and semantics; 6) model completion algorithm based on 3D convolution neural network and plane rule. Meanwhile, a robust indoor complex scenes modeling prototype system will be developed. The outcome of this project will be applied directly to the indoor service robot navigation, indoor positioning, augmented reality and other related applications.

本项目主要研究利用RGBD传感器进行室内复杂场景三维重建，重点研究目前三个尚未解决的问题：一是在室内弱纹理、弱几何特征场景下的传感器跟踪失败问题；二是传感器位姿估计产生的累积误差会造成错误或扭曲的三维模型；三是未观测或被遮挡区域数据缺失影响三维模型整体的完整性。本项目将采用三维几何信息、二维局部纹理信息和全局语义信息相融合的方法开展研究，主要研究内容包括：（1）深度传感器噪声模型估计算法；（2）基于稠密点和平面特征相融合的深度SLAM算法；（3）基于采样完好性评价准则的传感器跟踪算法；（4）基于传感器噪声模型和感兴趣区域的体数据融合算法；（5）基于卷积神经网络的三维几何和语义相结合的描述与配准算法；（6）基于三维深度神经网络和平面规则结合的模型缺失数据填充算法。最终研制一套鲁棒地高精度室内复杂场景三维重建系统。本项目的研究成果将直接应用于室内服务机器人导航、室内定位、增强现实等相关应用中。

本项目主要研究了利用RGBD传感器进行室内复杂场景三维重建，重点研究了三个尚未解决的问题：一是在室内弱纹理、弱几何特征场景下的传感器跟踪失败问题；二是传感器位姿估计产生的累积误差会造成错误或扭曲的三维模型；三是未观测或被遮挡区域数据缺失影响三维模型整体的完整性。本项目采用三维几何信息、二维局部纹理信息和全局语义信息相融合的方法开展研究，主要研究内容包括：（1）提出了一种基于深度学习框架的深度图像超分辨率与补全方法，解决了深度传感器图像分辨率低和存在数据缺失的问题；（2）提出了一种借助RGB-D传感器和IMU的移动设备上的高动态场景三维建模方法，解决了弱几何特征场景下的传感器跟踪失败和三维建模算法占用内存较大的问题；（3）提出了一种基于点云分割网络的SLAM 室内场景语义分割方法，实现了三维场景点云构建与语义分割同步生成；（4）提出了一种基于双分支残差网络的深度图超分辨率重建技术，解决了高分辨率彩色图像指导低分辨率深度图上采样时通道特征融合简单且向深度图引入伪影的问题；（5）提出了一种基于在线几何数据增广策略的端到端视觉定位方法，解决了训练数据稀疏容易导致网络过拟合的问题；（6）提出了一种基于对极约束的动态物体感知的视觉里程计模型，解决了视觉里程计容易受到场景中动态物体影响的问题；（7）提出了一种使用双向轨迹计算的融合轮子编码器的视觉惯性里程计，解决了融合轮子编码器的视觉惯性里程计在特殊运动下俯仰角、侧滚角和部分外参数不可观测的问题。