基于混合优化的图像三维重建方法研究

As a fundamental research topic in computer vision, image-based 3D reconstruction which is the reverse process of image capturing aims to estimate all (or some) camera parameters and 3D locations of the scene points from their 2D image observations. In real world applications, the above optimization problem is typically non-linear, non-convex and multi-modal due to unavoidable noise and outliers in image observations, making it hard to obtain a globally optimal solution using traditional deterministic optimization algorithms. To tackle this issue and thus improve the precision and robustness of 3D reconstruction, we propose a novel scheme called hybrid optimization-based image 3D reconstruction. In this project, we focus on the problem formulation of 3D reconstruction and global optimization strategies under hybrid optimization framework. In addition, approaches to improve the efficiency of our proposed scheme are studied so as to handle large-scale image datasets. Except for image-based 3D reconstruction considered here, we believe that some other problems in computer vision such as optical flow estimation and 3D point clouds registration also benefit from the proposed scheme.

基于图像的三维重建是计算机视觉中的基本研究课题，其旨在从二维图像观察中估计全部（或者部分）相机参数以及场景点的三维坐标。由于该问题是图像获取的逆问题，且实际应用中图像数据不可避免的受噪声和外点干扰，基于图像的三维重建优化问题往往呈现非线性、非凸性以及多模态等特性，因此采用传统确定型优化方法难以获得全局最优解。为了解决上述问题，进而提高三维重建的鲁棒性和精度，本项目研究一种基于混合优化的直接三维重建新思路，称之为混合优化图像三维重建。本项目重点研究混合优化框架下三维重建问题的建模方法和全局优化策略，并研究如何提升算法效率使之适合大规模图像三维重建。本项目探索研究基于混合优化的图像三维重建思路，对计算机视觉中的光流估计、三维点云注册等其他问题的求解也有一定的借鉴意义。

基于图像的三维重建是图像获取的逆过程，实际应用中该问题往往呈现非线性、非凸性以及多模态特性，因此难以获得全局最优解。本项目针对上述问题研究取得了如下成果：1）研究提出了综合利用非线性迭代、凸优化、智能搜索算法的三维重建策略，在此基础上构建了基于混合优化方法的一般化图像三维重建框架；2）研究提出了一个基于残差一致性的鲁棒性图像特征定位噪声尺度估计算法，设计实现了基于混合优化方法的鲁棒性多视图直接三角化问题建模和求解方法；3）将场景约束关系构建泛华为多视图间严格图像对应的确立，研究提出了基于稀疏实际控制点的一般化约束型图像稠密匹配方法；4）针对大规模图像数据三维重建需求，研究提出大规模图像数据划分方法以及基于图形硬件的多层次深度信息提取方法，实现了图像三维重建的并行加速；5）此外，项目开展了大量基于图像的三维重建相关应用研究，包括特殊相机模型三维重建、基于图像的非接触式测量、基于三维信息的曲面文本文档变形矫正、基于三维信息的静态场景前景分割、基于深度图信息的图像重聚焦等。从理论上讲，本项目基于混合优化的全局最优图像三维重建方法避免了传统方法面临的逆问题求解难题，这种先推断后验证的创新模式对于计算机视觉领域其他相关问题求解具有积极借鉴意义。从实际应用上看，本项目方法有助于提高三维建模的自动化程度以及三维模型的精度，该技术在军、民用领域预期具有较好的应用前景。目前，项目组已在《Pattern Recognition》等国际刊物发表相关SCI、EI检索论文10余篇；出版学术著作2部；申请国家发明专利9项；完成登记软件著作权4项；培养博士研究生1名、硕士研究生3名。