基于序列图像分析的三维环境感知技术研究

本项目将深入开展基于序列图像分析的未知环境感知的关键理论和技术的系统研究，研究内容属于计算机视觉界近年来的研究热点-运动结构重建理论的应用，即通过分析目标的图片或视频序列恢复目标的结构信息以及拍摄该目标各帧相机对应的空间位置信息。本项目完成后将突破单相机非实时重建、多相机实时重建和相机实时定位等一系列关键技术，提供一套完整的基于序列图像分析的环境感知软硬件系统。本项目拟解决的关键问题主要包括如何应用视觉几何理论对未知场景进行重建、如何在当前采集图像和重建结果之间进行高精度匹配，以及如何实时确定相机的空间位置等。本项目的研究成果对于智能车辆导航、虚拟环境的快速构建及实时增强现实系统等应用具有十分重要的意义。

运动结构重建(Reconstruction of Structure and Motion，SaM)是计算机视觉领域的经典问题，即通过分析目标的图片或视频序列恢复目标的结构信息和拍摄该目标各帧相机对应的空间位置信息。本项目针对运动结构重建理论及其应用，深入的开展了基于序列图像分析的未知环境感知的关键理论和技术的系统研究。具体研究内容包括：.(1) 基于视觉几何理论对未知场景进行重建，整个重建过程不需要在场景中安放标志点，也无需其他先验信息。.(2) 为了实现任意场景中的场景重建和相机定位，并且能够达到相当的精度和鲁棒性，针对单摄像机与多摄像机模型中的矩阵不完整性问题引入基于鲁棒主成分分析的矩阵恢复方法。.(3) 针对户外复杂场景的重建，提出基于柱状全景图的多摄像机重建方法并对重建结果进行了优化，实现了准稠密重建。.(4) 在特征点的提取过程中，提出了对于前景背景的识别与分类以及背景建模，使得用于计算的特征点来源于空间特征稳定的背景信息，有效地减少由于前景目标的特征点对应关系对于计算精度造成的影响。.(5) 为了实现当前图像在大场景、大尺度范围内的快速匹配和定位，采用GUP-SIFT提高特征点采集的速度。在特征点的匹配上，利用词汇树的方法建立索引，从而减少了高维特征描述寻找最近邻的计算时耗，提高了系统的实时性。.(6) 提出了增强现实系统中的动态投影标定方法，将虚拟模型实时地与场景中可移动的真实物体对齐并投影到真实物体的表面，以改变真实物体的纹理、光照和颜色等。.(7) 针对增强现实系统中投影机-深度相机存在的畸变问题，提出了实时的梯形畸变校正方法。