基于多源渐进有界模型的运动恢复结构方法研究

Reconstructing 3D models efficiently and accurately from large scale images is an important issue in computer vision. Precision and efficiency are two key challenges for current Structure from Motion systems when dealing with nonhomogeneous data. This work uses multi-source incremental method to solve error accumulation and blind partitioning in incremental Structure from Motion methods. By analyzing the relationship between efficiency and accuracy, a multi-source progressive bounded model is proposed. First, a distribution sensing and reconstruction reliability based multiple starting points selection and boundary detection method is proposed to control error accumulation when using a single starting point. Afterwards, a radial partial viewing graph partition method constrained by the starting point is proposed to enforce both parallelizablity and reconstructablity. A starting point sharing parallel framework is also designed. At last, a method for optimizing multi-view feature tracks in a global manner is proposed to avoid decrease in reconstruction accuracy. This work is expected to reveal the cause of reconstruction performance deterioration from the aspect of data distribution and the mechanism of multi-starting points for improve accuracy and efficiency, which can provide theoretical and technical support for applications such as visual localization and augmented reality.

如何从大量图像中快速、精确地重建三维模型是计算机视觉领域一个重要的问题。目前主要采用的运动恢复结构方法在处理非均态数据时，精度和效率上仍存在不足。本课题拟采用多源增量的方法，针对增量式运动恢复结构中面临的误差累积、盲划分等问题开展研究。通过分析效率需求与精度需求的内在关联，建立多源渐进有界模型，以基于分布感知和重建可靠性度量的多起点选择与边界检测为切入点，解决使用单起点时误差累积难以控制的问题；在此基础上，设计起点驱动的径向局部视点图划分算法和共享起点的并行框架，解决盲划分中可并行性和可重建性难以统一的问题；并对多视图特征轨迹整体优化模型的建立与求解进行研究，减少轨迹中局部匹配噪声给重建精度带来的影响。通过本课题的研究，可望在理论上揭示重建结果退化在数据分布层面上的本质原因，阐明多个重建起点对于改善精度和效率的作用机理；在应用上为视觉定位、增强现实等任务提供必要的理论支撑与技术基础。

如何从大量图像中快速、精确地重建三维模型是计算机视觉领域一个重要的问题。目前主要采用的运动恢复结构方法在处理非均态数据时，精度和效率上仍存在不足。本课题采用多源增量的方法，针对增量式运动恢复结构中的误差累积、数据盲划分、特征点匹配等问题开展研究。首先，研究了基于数据分布模型的多重建起点选择方法，并提出了一个多层最短路径（MSP）方法进行重建边界检测，将整个数据划分成每个起点能够可靠重建的最大范围，得到若干个区域聚类。其次，提出了一个平衡的路径树划分方法，进一步将每个区域聚类划分成多个可以并行重建的子区域聚类，进一步提升了重建过程的并行程度。此外，为了克服图像特征点匹配问题中外点对算法性能的影响，提出了一种新型的混合高斯混合模型（HGMM）。该模型根据特征点的可匹配性将特征点进行层次划分，利用之前层找到的匹配作为先验，引导后面层中特征点的匹配。最后，提出了一种基于多特征融合嵌入表达的图像特征点匹配方法。该方法度量同一组关键点的多种特征描述子之间的特征相似性，同时度量这些关键点之间的空间位置关系，然后求解一个同时保持多特征相似性和空间位置关系的子空间嵌入式表达。除了上述研究内容，本项目还结合课题组前期基础和研究过程中的实际需求，对图像边缘检测等相关问题进行了研究，这些研究的思想和经验为本项目的持续推进提供了有价值的借鉴。