多视光场计算理论与关键技术研究

Light field imaging theory is a hot spot in computational photography and brings revolutionary innovations for the traditional digital imaging technologies. The existing monocular light field imaging equipment has some disadvantages, such as small field of view, lack of depth of field, spatial and angular resolution tradeoff, low accuracy of depth estimation, and low robustness for occlusion, which is unable to meet the requirements of experimental observation for these disciplines, such as medical science, life science and fluid dynamics. How to break through the limitations of monocular light field theory and reconstruct high quality light field is an important scientific problem in this domain. The project intends to expand and create the existing light field theory by investigating the fundamental model of ray-ray association, the calibration methods and error measurements, high accuracy signal decoupling, and unified parameterization in the multiview light field (MVLF). The project devotes to build the MVLF theory and to propose a series of efficient methods to reconstruct and process high quality light field data. Finally, we will implement two typical application prototypes to demonstrate and validate the proposed theory and related approaches. The project has the characteristics of multi-discipline intersection, multi-theory integration, multi-technology breakthrough, and multi-application extension. The theoretical outcomes will arouse significant revolutions on the core problems in computer vision and promote the applications of light field theory and imaging technology in some important domains, such as anti-terrorism surveillance, industrial inspection, novel medical imaging, augmented reality, and future media and so on.

光场成像理论是计算摄像学领域的研究热点，为数字成像技术带来革命性创新。现有单视光场成像设备存在视场小、景深不足、空间和角度分辨率折衷、深度恢复精度低、对遮挡不鲁棒等缺陷，尚无法完全满足医学、生命科学、流体力学等学科对实验观测的需求。“如何在理论模型与关键技术上突破单视光场理论的局限、重建高质量光场”是该领域亟待解决的重要科学问题。本项目拟对现有光场理论进行延拓和创新，研究多视光场的光线关联模型、参数标定与精确性度量方法、高精度信号解耦方法及统一参数化理论等关键问题，构建一套多视光场计算理论，提出高质量光场重建及处理方法，并实现两套基于多视光场理论的应用验证原型。本项目具有多学科交叉、多理论融合、多技术突破、多应用拓展等特色。理论研究成果将引起计算机视觉领域多个核心问题研究的重要变革，进而推动光场理论与成像技术在反恐监控、工业检测、医疗成像、增强现实及未来媒体等重点领域的应用。

光场成像理论是计算摄像学领域的研究热点，为数字成像技术带来革命性创新。现有光场成像设备存在视场小、景深不足、空间和角度分辨率折衷等不足，尚无法完全满足各学科对实验观测的需求。在国家自然科学基金支持下，本项目对现有光场理论进行了延拓和创新，研究了多视光场理论与模型，提出了多视光场相机参数估计方法，突破了多项多视光场计算关键技术，在此基础上实现了若干多视光场典型应用。本项目首先提出了光场相机多投影中心模型，构建了光线空间投影模型，统一描述了不同成像模型光场相机的异构特性和采样特性，建立了光线空间对极几何和单应约束，表征了多视光场内在射影几何，形成了多视光场关联理论与相机模型，实现了光场理论与多视图几何理论的融合。本项目继而提出了多视光场相机内参数标定、外参数注册和自标定方法，定义了多类光线几何距离，并指导了多视光场相机参数的非线性优化，形成了光场相机参数标定误差分析方法与精确度度量，实现了多视光场数据统一参数化。根据多视光场关联理论与相机模型，本项目提出了光场空间角度一致性理论，构建了光场超像素、超图多种光场表达模型，提出了多视光场编辑、分割和场景流计算方法，突破了光场超分辨重建、深度估计、三维重建等关键技术。最终，在多视光场计算理论及其关键技术研究基础上，本项目研制了全景光场采集及变视点渲染和高质量光场获取及呈现原型系统，构建了多视光场处理算法工具集，发布了多视光场数据集，验证了多视光场计算理论与相机模型。本项目执行期间共发表学术论文66篇，申请国家发明专利16项（授权6项）。培养青年教师3名，博士研究生10人，硕士研究生20人。本项目理论研究成果具有多学科交叉、多理论融合、多技术突破、多应用拓展等特色，带动了计算机视觉领域多个核心问题研究的重要变革，进而推动了光场理论与成像技术在医疗成像、工业检测、影视制作、增强现实等重点领域的应用。