基于拓扑结构对大规模图像集的交互三维场景建模

基于拓扑结构的交互三维场景建模主要研究如何从拓扑结构出发，由多角度图像结合用户交互快速有效地构造真实感的场景模型，其中最关键的问题在于用拓扑结构有效地描述三维场景几何信息，准确地从多幅图像中提取和重建。网络的发展使得大规模图像数据集的获取变得容易，为场景的三维重建提供了大量信息，但由于其差异性，也带来了巨大挑战。传统的运动恢复结构算法只能构造空间的三维点云，缺少场景的结构信息。本课题拟尝试从一个全新的角度，研究一种通用高效的基于大规模图像集合的三维建模算法。本课题拟从描述场景几何的关键拓扑结构出发，研究如何结合有限的用户交互，从多幅图像中抽取空间统一的拓扑结构信息，并重建其三维几何；研究由稀疏拓扑结构到完整表面模型的构造算法，结合输入图像的灰度和纹理信息，获得具有真实感的三维模型。本课题预期在几何模型表达理论上有所突破，在三维重建技术方法上有所创新，为该技术的理论化和实用化奠定基础。

基于多视角图像的三维真实感建模多年来一直是计算机视觉和计算机图形学领域的一个重要的研究课题。区别于传统的基于局部特征点的点云重建和交互式勾勒表面轮廓的建模方法，我们从一个全新的角度，深入研究了基于拓扑结构的三维场景建模技术。受概念设计阶段的草图表达的启发，我们将物体的拓扑结构引入基于图像的三维建模，从特征表达和提取、拓扑结构的恢复、表面模型的重建、以及表面纹理的生成四个方面，对基于图像的真实感三维建模中涉及的各个问题进行了研究，获得了一系列的研究成果。具体包括: 1）在拓扑结构特征的表达和抽取方面，我们主要研究了人造场景中物体的点-线-面的拓扑结构表达方式，并提出了高效的拓扑结构特征提取算法，大大精简了大规模图像集中的特征的存储和计算。2）在拓扑结构的恢复方面，我们结合线条周围和表面上的局部点特征来辅助线条特征的匹配和表面的邻接关系抽取，充分利用了SIFT点特征对于尺度、光照、视角等变化的鲁棒性，在差异性较大的图像集合中获得空间一致的整体拓扑结构，实现了自动的拓扑结构恢复。3）在表面模型的三维重建上，我们提出了一种全自动的表面模型重建方法。主要结合图像上的密集的特征点的对应和重建结果，以及图像各平面区域的外观信息，根据平面基元间的邻接、遮挡等几何关系进行平面延伸、补齐，以及全局修正，获得了准确的三维几何模型。4）对于三维模型表面纹理的生成，针对图像集合中各图像差异性较大、尤其是有大面积前景遮挡的情况，我们提出了一种保持几何一致性的图像拼接算法，针对具有较强几何特征和纹理不够丰富的两种图像区域，自适应地生成样本图像集合，最后通过马尔科夫随机场的优化，实现从多样本中选择合适的图像来源，获得视觉连贯的、无缝的图像拼接。我们从整个三维建模流程中各个环节对基于拓扑结构的的特征抽取、特征匹配、三维重建和纹理生成进行研究，验证了所提拓扑结构特征表达在人造场景的三维重建的有效性，从建模的自动程度、数据存储效率及建模视觉效果上都优于现有算法。