针对中国古代建筑的结构与图像相融合的三维重建方法研究

Chinese ancient architecture is an important part of Chinese civilization, a set of easy-to-use digital means is urgently needed for their protection and archiving as they are usually located on high mountains. To this end, image based 3D reconstruction methodology presents itself. Since Chinese ancient architectures are of complex geometric structures and their capturing location is usually quite constrained, the existing methods of image based 3D reconstruction mostly fail to give high-quality results. This proposal is to explore a novel integrated framework by alternating image matching and structure reconstruction, with one boosting the other. The following 3 issues will be investigated: 1) Since the estimation of patch normal vectors is sensitive to capturing pose and severely affects the reconstruction accuracy, a random multi-scale global optimization method will be explored; 2) To tackle the large field of view and wide baseline image matching problem, a new matching approach will be investigated by integrating local 3D geometries and 2D image features; 3) To match true corners of real world objects, a new corner description and matching method will be explored by combining 3D geometric structure and multi-tangent planes. The proposal's outcome could enrich the theory and methodology of image based 3D reconstruction, and it could not only be directly used for ancient Chinese architecture reconstruction, but also applicable to other applications such as digital city.

中国古代建筑是中华文明的重要组成部分，遍布高山峻岭，急需一套简便易用的数字化手段对其进行保护与存档。基于图像的重建方法对于上述需求是一种有效的手段。中国古代建筑由于具有几何结构复杂、拍摄位置受限等特点，使得目前已有的三维重建方法都很难对其进行高质量的重建。本项目针对中国古代建筑三维重建问题，拟构建一个图像匹配与结构重建之间交替迭代的一体化技术框架，主要开展如下三个方面的研究：1）针对稠密扩散中面片法向初始化估计问题，拟研究基于随机性机制的多尺度面片法向全局最优化估计方法；2）针对大视角宽基线图像匹配问题，拟研究局部三维几何结构与图像特征相结合的图像匹配方法；3）针对场景中真实角点匹配问题，拟研究结合三维几何结构与多切平面的角点描述与匹配方法。本项目的研究可望在一定程度上丰富三维重建理论与方法，研究成果不仅在古建重建中具有重要的应用价值，也可以直接推广到诸如数字城市等其它应用场合。

中国古代建筑由于具有几何结构复杂、拍摄位置受限等特点，使得目前已有的三维重建方法都很难对其进行高质量的重建。本项目提出一种高精度的基于匹配扩散的稠密深度图估计算法. 算法分为像素级与区域级两阶段的匹配扩散过程. 前者主要对视图间的稀疏特征点匹配进行扩散以获取相对稠密的初始深度图; 而后者则在多幅初始深度图的基础上, 根据场景分段平滑的假设, 在能量函数最小化框架下利用平面拟合及多方向平面扫描等方法解决存在匹配多义性问题区域(如弱纹理区域)的深度推断问题. 在标准数据集及真实数据集上的实验表明, 本项目算法对视图中的光照变化、透视畸变等因素具有较强的适应性, 并能有效地对弱纹理区域的深度信息进行推断, 从而可以获得高精度、稠密的深度图.在古建结构纹理重复和不丰富问题上，本项目从生物的立体感知过程出发, 提出了一种计算图像视差的层级模型, 主要贡献有: (1) 提出了一种符合心理学实验结果的归一化视差能量模型,减弱了图像对比度变化对神经元视差响应能量的影响; (2) 利用视皮层视差功能柱的性质, 提出了一种不同倾向视差神经元的汇聚方法; (3) 根据不同脑皮层之间的连接关系, 提出了一种两层网络结构来解决V1 区神经元编码视差的歧义问题. 本项目方法可以有效提高纹理重复和纹理不丰富区域的视差计算精度.