无序多视影像的稠密表面重建关键技术研究

With the development of image capturing and 3D reconstruction technology, the effectual source image data that can be used for reconstruction is constantly expanding. The combined use of unordered images of multi-angle and multi-scale can effectively reduce the interference on the process of reconstruction due to information loss caused by the projection of 3D object to 2D images. But due to the influence of occlusion, repeated texture and lack of matching features in weak texture regions, to obtain accurate dense scene surface reconstruction results still faces many challenges, and the key theories and approaches of which are needed to be studied. This project intends to carry out key technologies research of dense 3D reconstruction of multi-view images to improve the accuracy and robustness of 3D reconstruction, it mainly includes the follows: a detection algorithm of false positive matching relations between multi-view images, a batch algorithm of multi-view images based on image triplets to calculate a global optimum of rotations and locations of all the images, and dense surface reconstruction algorithm for multi-view images under multi constraint conditions. The research will improve theory and methods about multi-view 3D reconstruction. Its results have important significance to promote the development of multi-view 3D reconstruction technology, enrich and expand its application field.

随着影像获取技术和三维重建技术的发展，可用于重建的有效影像数据源不断扩展。多视角、多尺度无序影像的联合使用，可以有效降低三维目标向二维影像投影时的信息损失对重建过程造成的干扰。但由于遮挡、纹理重复、弱纹理区域匹配特征缺乏等因素的影响，获取场景表面准确稠密的重建结果依然面临很多挑战，其关键理论和处理方法还有待深入研究。本项目旨在提高多视稠密三维重建的精度和可靠性，对其关键技术进行研究和探索，重点研究内容包括：多视影像间的误匹配关系检测，基于三视匹配影像约束的全局最优批处理相机方位解算方法，多约束条件下的多视影像稠密表面重建算法等。本项目的研究将有助于完善多视三维重建的理论与方法，研究成果对于促进多视三维重建技术的发展，丰富并拓展其应用领域具有重要意义。

随着影像获取技术和三维重建技术的发展，可用于重建的有效影像数据源不断扩展。多视角、多尺度无序影像的联合使用，可以有效降低三维目标向二维影像投影时的信息损失对重建过程造成的干扰。但由于遮挡、纹理重复、弱纹理区域匹配特征缺乏等因素的影响，获取场景表面准确稠密的重建结果依然面临很多挑战，其关键理论和处理方法还有待深入研究。. 本项目旨在提高多视稠密三维重建的精度和可靠性，对其关键技术进行研究和探索。研究了影像间核线几何关系构建中的退化检测，利用物方形式的共面条件方程推导了空间点位临界配置中危险表面的通用方程，并利用奇异值分解算法给出了不同核线几何关系构建方法的临界配置条件, 可有效避免重建过程中因物方点位的分布而产生的多义性；研究了无序影像间多视匹配点的提取算法，将多视匹配点的提取问题转化为动态联通性问题，设计了基于并查集算法的解决方案，并通过加权编码策略对问题进行优化，提高了多视匹配点提取的可靠性和效率；研究了多视影像间的误匹配关系检测，引入概率推论方法，提出一种改进的检测算法，利用回路闭合约束构建了匹配关系的贝叶斯网络，推导了贝叶斯网络中的先验概率模型，并利用置信传播算法解算了贝叶斯网络中最大后验概率的求解，解决了因纹理重复或相似而造成的影像间误匹配关系的检测问题；研究了基于三视匹配元约束的全局最优SfM算法，利用回路闭合约束剔除可能存在误匹配的三视匹配元，然后以三视匹配元中的三焦张量约束代替传统算法的核线约束来计算所有影像旋转矩阵和相机中心位置的全局最优解，在理论上可提高三维重建的可靠性；研究了多约束条件下的多视影像稠密表面重建，综合利用边界不连续性约束、空间自由体约束、可视性约束等条件，在PMVS准稠密重建结果的基础上进行深度图插值和点云扩散，可以得到更加精细、完整的场景表面重建结果，解决在弱纹理区域重建的点云的稀疏或孔洞问题。