基于摄像机阵列多深度线索的场景深度估计及优化方法

Recent research progresses of 3D reconstruction in computer vision and visual psychology of human being have indicated that multiple depth cues based depth estimation approach outperforms traditional single cue based ones. The fundamental data of the project are multiple depth cues, which are extracted from multi-view images and synthetic aperture photography based on a dense camera array. The primary objective of the proposed work is to tackle two issues, one is the inaccuracy of depth estimation caused by the limitation of depth of field, and another is lack of evaluation model for depth map derived from single depth cue. So the core idea of the proposed work is depth estimation and optimization for complicated scene by fusing multiple depth cues. We will focus on three important questions that must be addressed in building multiple depth-cue fusion based depth estimation. 1) Aiming at the issue of joint model of depth estimation by fusing multiple cues, we are going to analyze the characteristics of disparity cue and blur cue first, and then we try to find a suitable way to put these cues into a unified model and minimize the objective function via convex optimization algorithm. 2) Aiming at the issue of mutual constraints of multiple depth cues, we propose to model two kinds of constraints among these cues, i.e., strong constraint and weak constraint. 3) Aiming at the issue of evaluation model of depth estimation, we propose to investigate evaluation model based on mutual constraints of depth cues. Moreover, we will propose an optimization algorithm to re-compute or refine the depth for those areas with low confidence of depth evaluation. In summary, the intellectual merit in this proposal is in extension and application of combined visual psychology and cognition, computational photography, and computer vision for researchers. This research will significantly advance our understanding of fundamental theory and methodology of computer vision. The potential outcomes of the proposed work are providing accurate depth data to applications in many areas, such as augmented reality, visual navigation, video surveillance, special effects production of movie and so on.

计算机视觉三维重建与人类视觉心理学研究表明，多线索深度估计与单一线索深度估计相比具有较大优势。本项目以密集型摄像机阵列为实验平台，从场景的多视点采样数据和虚拟孔径合成数据中提取多种深度线索。研究多深度线索融合的场景深度估计理论和优化方法，旨在解决现有方法受景深限制深度估计结果精度不高的问题，以及单一线索深度估计结果可靠性缺乏评价依据的问题。具体研究内容包括：1）针对多线索融合的深度估计问题，分析视差深度线索与模糊深度线索的不同特性，寻求将它们融合于一个计算模型的方法。2）针对多线索之间的相互约束问题，研究深度线索间的强弱约束条件及其数学描述。3）针对深度计算结果的可靠性评价问题，探索基于强弱约束的可靠性评价模型以及相应的深度优化方法。本项目属于计算机视觉领域基本理论与方法研究，为增强现实、视觉导航、场景监控、影视特效制作等相关应用提供精确的深度数据，研究成果具有重要的理论意义及应用价值。

三维场景深度获取一直是计算机视觉领域关注的重点之一，也是该领域众多其他问题，如三维重建、场景分割、视觉导航等相关研究的关键步骤。针对现有单一深度线索进行场景深度估计存在较大误差这一问题，本项目研究利用摄像机阵列多视点采样中所蕴含的多种深度线索来进行深度估计的方法，着重从三个方面探索多深度线索融合下的深度估计与优化方法，包括多深度线索获取、多线索融合的深度估计方法、多线索相互约束的深度估计优化方法。在多深度线索获取方面，项目组首先搭建了摄像机阵列系统的软硬件平台，并对其进行精确标定。本项目分别从对极面图、不同深度的重聚焦图像、共聚焦图像等数据源中提取结构线索、不同深度视差线索以及模糊线索等深度线索。进而，通过对其特性分析可以发现视差线索与模糊线索之间存在互补性。在多深度线索融合的深度估计方法方面，项目组首先研究了光场结构线索，提出了基于全局可控点的结构张量视差估计法。进而，研究组利用模糊线索并引入一种基于分割树的代价聚合算法对深度进行估计。对于自然场景中普遍存在的遮挡问题，研究组提出了光场下场景深度估计的多遮挡模型。最终，研究组在光场理论分析的基础上，提出了将视差线索与聚焦线索相融合的场景深度估计思路，进而提出了基于马尔科夫随机场理论融合视差法与变焦法优势的场景深度计算方法，与基于单一深度线索的场景几何结构恢复方法相比，该类方法具有更优的精度和鲁棒性。在深度估计优化方法方面，研究组给出了多视点图像匹配中的外点去除算法，在凸优化理论基础上，提出了一种基于惩罚线性回归的外点去除算法，有效去除了外点干扰；此外，研究组就遮挡区域深度特性进行研究，并提出一种基于表面相机的立体匹配抗遮挡全局优化方法，能有效处理遮挡部分；针对光场图像的混叠问题，研究组提出了一种基于随机遮挡孔径的角度域图像混叠检测方法，进而提出了基于混叠检测的共聚焦图像抗混叠处理方法，提高了共聚焦图像的生成质量。此外，研究组还开展了多个扩展技术与应用的研究，如多视点视频同步、光场超像素分割、光场局部特征子及其在活体人脸检测的应用等。.在本项目资助下，研究组申请发明专利4项，发表学术论文20篇，其中SCI二区期刊论文2篇，CCF认定的A类会议2篇。培养了青年教师2名并且均获得了自然科学基金青年基金资助，培养了5名博士研究生和10名硕士研究生。