基于深度图融合的大场景多视图立体重建研究

Depth-map merging based multiple-view stereo reconstruction is one of the key research contents in image-based 3D reconstruction for large-scale scenes, with wide application areas like heritage digital preservation, city-scale 3D modeling, et al. During the image acquisition process for large-scale scenes, significant differences of view-angle, scale, and scene coverage could be found between the images, which will cause significant impact to the reconstruction accuracy. Furthermore, since the large-scale scenes always need a large number of high-resolution images, a computational efficient reconstruction algorithm is required. This research focuses on three key issues in depth-map merging based multiple-view stereo reconstruction for large-scale scenes, including global-best neighboring images selection, high accurate and efficient depth-map computation, and depth-map merging and point cloud refinement. The main contents of this research include: 1) The global-best neighboring images selection method based on view-angle, scale and scene coverage; 2) The depth-map computation method based on depth propagation and scene plane constraints; 3) The depth-map merging and refinement method based on scene distance, neighboring image distribution and photo-consistency. This research will improve the theories and methods of image-based 3D reconstruction for large-scale scenes, and promote the practical use of the results in this area.

基于深度图融合的多视图立体重建是大场景图像三维重建领域的核心研究内容之一，其研究成果在古建筑数字化保护、城市三维建模等领域有着广泛的应用前景。在大场景图像数据的采集过程中，图像间通常会存在视角、尺度、场景覆盖等方面的明显差异，这些都会给点云的精确重建带来困难。同时由于大场景图像分辨率高、数量多，因此对算法计算效率也有较高要求。针对这些问题，本课题拟对基于深度图融合的大场景多视图立体重建中邻域图像组最优选择，高精度深度图快速生成、深度图融合与点云优化三个核心问题进行研究，主要研究内容包括：1）研究基于图像视角、尺度、场景覆盖度等指标的邻域图像组最优选择策略；2）研究基于深度信息局部传播和空间平面连续性约束的深度图计算方法；3）研究基于场景距离、邻域图像组分布和图像一致性程度的点云融合和优化策略。本课题研究是对大场景图像三维重建领域理论和方法的丰富，有助于推动这一领域成果的实际应用。

近年来，随着图像采集设备的不断进步，使用数码相机、街景车、无人机等设备可以方便的获取海量高分辨率图像数据，如何通过这些图像数据构建我们身边的三维世界日益成为许多领域的迫切需求。因此，在理论和应用层面，基于图像的三维重建这一经典问题都日益成为计算机视觉研究者的关注热点。本项目面向基于图像的大规模场景三维建模问题，在大规模场景相机位姿估计、融合航拍与地面图像的大场景三维重建、大规模场景三维稠密点云语义分割三方面开展了系统性研究，提出了大规模场景相机位姿估计中的匹配序列最优选择策略、大规模场景相机位姿估计中的全局和增量混合计算方法、基于正交最大生成树的渐进式相机位姿估计、融合航拍与地面图像的大场景三维重建、稠密点云网格建模中的可视模型构建方法、大规模场景三维稠密点云语义分割算法等一系列核心算法，在计算机视觉领域重要国际期刊和国际会议发表论文11篇。基于理论研究成果，构建了面向城市级大场景的全自动图像三维重建系统，并在文化遗产数字化、智慧城市、高精地图等多个领域的开展了系统应用。