基于光场压缩的超多视点三维光场高效表征实现方法研究

With the characteristcs of large field of view, high resolution, high dynamic, and true color, three-dimensional (3D) light field display (LFD) is the future of display technology. In order to achieve a good visual experience, LFD usually requires the light field content (LFC) with large viewing angle, ultra-multi-view and high resolution. However, the huge amount of information of the LFC makes it difficult to be encoded, transmitted and stored. For the purpose of building a true three-dimensional display system with LFD as the core, it is urgent to break through the problem of high-efficiency representation of multi-view 3D light field. So this project will carry out research on the high-efficiency representation of ultra-multi-view 3D light field (LF) based on LF compression. A compression process of information involves sampling, compression and reconstruction. And thus in the project, we propose an adaptive LF sampling theory based on information redundancy measuring. Then the implementation of compressive representation of 3D LF with based on inverse transformation of ray casting, and ultra-multi-view 3D LF rendering method, will be discussed in this project. In addition, a LF display system based on the proposed efficient compressive representation of LF will be built, and the performance of the compressive representation will be analyzed. The proposed compressive representation of ultra-multi-view LF method is compatible with existing coding standards, and will promote the construction of a true 3D display system with the core of LFD.

具有大视角、高分辨、高动态、真彩色等特性的三维光场显示技术，是未来显示技术的发展方向。为了实现良好的视觉效果，三维光场显示通常需要大视角、超多视点、高分辨率的光场内容，其巨大的信息量导致其在现有技术体系下难以进行高效编码、传输以及存储。为构建以“光场显示技术”为核心的真三维显示系统，迫切需求突破超多视点三维光场的高效表征难题。为此，本课题将开展基于光场压缩的超多视点三维光场高效表征实现方法研究。信息的压缩表征涉及信息的抽样、压缩以及重建环节，针对各环节，项目分别提出研究基于信息冗余度度量的光场自适应抽样理论，基于光线投射逆变换的三维光场压缩表征机理及实现方法，以及超多视点三维光场渲染重建方法。此外，项目将构建基于光场高效压缩表征的光场显示系统，并对压缩表征进行性能评估。项目提出的超多视点三维光场压缩表征方法可兼容现有的编码标准，促进了以“光场显示技术”为核心的真三维显示系统的构建。

真三维显示技术为核心的立体视觉信息技术是当前行业研究的热点，也是全球产业竞争的焦点。为了实现良好的视觉效果，真三维显示需要进行大视角、超多视点、高分辨率的超多视点三维光场内容采集，其采集内容的视点数目远超于传统的3D显示所需的视点数目，在现有技术体系下难以进行高效压缩、编码、传输以及存储的难题。为此，本项目提出研究基于光场压缩的超多视点三维光场高效表征实现方法。通过研究超多视点三维光场压缩抽样原理，基于光线投射逆变换的三维光场压缩表征机理，动态、大视角、超多视点三维光场的高效压缩表征及渲染重建实现方法，实现对超多视点三维光场进行高效压缩表征，并转换成现有立体视觉编码技术所兼容的三维信息表示形式，实现超多视点光场数据的高效编码、传输以及存储。并通过构建验证系统，进行光场高效压缩表征的性能评估及验证。围绕研究内容，本项目开展了基于区域纹理和空间结构一致性度量的立体匹配方法，并提出超多视点自适应采样原理。研究了基于数字断层图像表征的三维光场数据压缩表征原理及基于神经辐射场表征的三维光场数据压缩表征原理，提出了基于可变空间采样神经辐射场的光场压缩表征原理及方法。研究了基于体像素构建的超多视点光场高效压缩方法、基于场景几何重建的超多视点光场高效压缩及渲染方法、基于自由位置深度信息估计的自由视点合成方法、基于多层联合调制的压缩光场计算超分辨率渲染重建方法。构建了超多视点光场视频通信系统构建，并结合系统开展了基于主观QoE评价的三维光场视频压缩及渲染质量评估方法。本项目研究城果对促进“光场显示技术”为核心的真三维显示系统的构建具有重要意义。