全光场相机的成像理论和方法研究

This project aims to study the imaging theory of the plenoptic cameras, to find ways to overcome the deficiencies of the existing plenoptic cameras, and to research on basic scientific issues of data acquisition mode, the sampling theory and the discretization method of the plenoptic cameras, and the high-precision image reconstruction techniques. It intends to study the theory and methods regarding the optimized design of the mask, to develop an easy to apply and cost-effective method of randomized fractal mask design via the multi-objective optimization imaging indicators so as to increase the light flux and exposure time effectively, while providing more structural and spectral information. It also focuses on establishing the mapping relationship between the light field and the detector by introducing the sampling basis functions and the shape factors of the plenoptic cameras transformation in accordance with Fresnel and Fraunhofer theories, exploring the mathematical relationship between plenoptic cameras detector resolution and reconstructed image resolution, and setting up the reconstructed-point-based sampling theory. With this theoretical guidance, the discrete model of plenoptic camera imaging will be built, and a new reconstruction method will be produced. With the theory of inverse geometry CT and reconstruction techniques as its basis, this research was designed to develop the high-precision fast block iterative light field reconstruction method in compliance with geometric and structural symmetry based on the geometric symmetry of the plenoptic imaging.

本项目旨在研究全光场相机成像理论，克服当前全光场相机的不足，对数据获取方式、光场相机的采样理论和离散化方法、高精度图像重建方法等基础科学问题开展研究。项目拟研究掩膜的优化设计理论和方法,通过多目标优化成像指标，建立一种易于实现、成本适中的随机分形掩膜设计方法，增加通光量，有效提高曝光时间，同时提供更多的结构信息和频谱信息；基于Fresnel和Fraunhofer理论，通过引入采样基函数和光场相机变换的形状因子，建立全光场和探测器之间的映射关系，研究全光场相机的探测器分辨率和重建图像分辨率之间的数学关系，建立基于重建点的光场相机采样理论，这一理论将指导建立光场相机成像的离散化模型，形成新的重建方法；研究基于倒置几何CT的理论和重建方法，通过光场相机成像的几何对称性，建立基于几何对称性结构的高精度快速分块迭代光场重建方法。

本项目针对全光场成像的基础理论与应用开展研究，内容包括光场数据的获取与采样方式、光场数据的高精度重建算法、三维场景深度重构等基本问题。. 研究成果在理论上，将光场重建问题归结为投影模型下的不适定反问题，建立了三维物点空间与光场数据空间的投影与反投影关系，通过光场投影定理提出了新的光场成像模型，形成了新的研究思路。在重建算法上，将由投影重建图像的理论与方法应用于光场成像，推演出包括解析重建和迭代重建的光场重建新方法，给出了高精度光场重建的解析和迭代算法。在高精度场景重构的研究中，引入了优化的目标泛函于迭代校正，以及融合特征点密度的聚焦测度于深度重建，重建出了高精度的场景深度。这一成果对于其它深度重建方法同样有很好的借鉴意义。. 同时，课题组将理论方法与场景应用结合起来，设计了一种旋转螺旋掩膜光场实验相机，采用螺旋掩膜调制光场，研究了螺旋掩膜设计准则与螺旋掩膜形状的优化设计。搭建了由高精度光学平台、高精度电控三轴运动硬件平台，以及高分辨、高帧频的工业相机组成的光场成像相机平台，可采集角度分辨率极高的光场数据。在软件系统平台上，完成了近至中距三维场景的高精度深度重建、窄视角下的三维场景重构与几何测量。此外，课题组采用微型舵机驱动镜头来实现聚焦堆栈的数据采集，进而实现三维场景深度重构，为小型机器人的目标探测和抵近侦察，提供有效数据支撑。. 本课题支持的研究，发展出以投影几何为基础的全光场采样方法和成像理论，以及高精度全光场数据重建方法。在理论与方法上，取得了多项具有特色的研究成果。为全光场计算成像系统的应用和系统构建提供了新的视角，进一步的研究内容丰富，有望在很多重要领域得到应用与发展。