大规模真三维视频获取与集成成像显示关键理论与技术

True-3D video generation and display has become the ultimate goal of the future stereo images. As it is possible to reproduce a continuous parallax, full color and large-scale of real 3D scene, integral imaging has become a hot research topic. But the key technical issues are how to pay small price to generate a high fidelity video information and HD display elemental image array. The project will focus on two aspects: mass true 3D video generation and display key theoretics and technology based on integral imaging, including: fast generation method for elemental image array in virtual and real scenes, study the compact modeling theory of mass ture-3D visual information, and retrieve high-fidelity intrinsic representation as a solution to the contradiction between the multi-scale highly-dynamic data of natural scenes and the low time-space bandwidth product of imaging systems, design and build computational acquisition systems with high space-time bandwidth product to achieve a highly efficient sampling and high-resolution reconstruction, using hexagonal lenslent array and time divisioin multiplexing methods to improve the display resolution of integral imaging and modular LED display and lenslet array to build the integral imaging display platform. This project will lay the foundation for the true 3D integral imaging and widely applied in military, medical, education, entertainment and other fields.

真三维视频获取与显示已成为未来立体影像的终极发展目标，集成成像技术由于能够再现具有连续视差、彩色以及大规模真实立体场景，成为当今研究的热点，但如何用小的代价采集到高保真影像信息、如何获得立体元图像阵列和高清晰显示已成为集成成像发展的关键所在。本项目围绕大规模真三维视频获取与集成成像显示关键理论两方面进行研究，主要包括：研究虚实场景中立体元图像阵列的快速生成方法，研究大规模真三维光信息紧致建模理论，实现高保真情况下的本征表示，解决现实场景的数据多尺度高动态问题和系统低时空带宽积之间的矛盾，设计并搭建高时空带宽积计算采集系统，对场景实现高效采样与高保真度重建，采用蜂窝式透镜阵列和时分复用方法提高集成成像显示分辨率，研究LED显示屏与透镜阵列的模块化融合方法，搭建集成成像显示平台。通过本项目的研究，必将为真三维集成成像技术应用奠定基础，该技术必将在军事、医疗、教育、娱乐等领域广泛应用。

集成成像立体显示技术由于能够再现具有连续视差、彩色以及大规模真实立体场景，成为当今研究的热点，本项目围绕大规模真三维视频获取与集成成像显示关键理论两方面进行研究，主要研究内容有：虚拟场景与实际场景的三维立体信息采集和立体元图像阵列生成方法研究，立体显示中虚实融合一致性研究，立体元图像阵列编码方法的研究，集成成像显示系统的搭建与优化研究，设计并高时空带宽积计算采集系统，实现大规模真三维光信息紧致建模。在集成成像显示内容获取方面,我们构建了一套16个相机组成的稀疏的球面相机阵列采集系统，实现了实景采集与立体显示；我们设计了可提高立体图像显示分辨率的蜂窝式透镜阵列，有效提高了真三维成像的清晰度；我们针对立体元图像阵列生成时间长的问题，提出了立体元图像阵列快速生成方法；为进一步提升显示效果，我们基于角谱和衍射理论角度对集成成像显示系统进行了优化，使用扩散屏和遮挡结构解决了串扰问题；针对光场显示中虚实融合一致性问题，我们提出了基于全局光照模型的光照估计方法和基于几何一致性的虚实融合方法；在光场图像编码方面提出了基于混合高斯模型的立体元图像阵列编码方法和基于二次核模型的立体元图像阵列编码方法。在计算采集方面，我们学习了高通量视觉数据的冗余特性和内在结构，并提出了时空谱紧致编码策略以及相应的解码重建算法；进一步解决了现有解码重建算法在精度和效率方面的严重不足，本项目提出了基于低秩先验的高性能解码重建以及即插即用的高效率解码重建方法，有效提升了高维数据解码重建的效能；此外，我们还设计和搭建了原型系统验证了采集机制和重建算法的有效性。项目获得成果168项，其中发表（SCI、EI收录）学术论文39篇，重要国际学术会议论文22篇，申请中国发明专利31件，授权中国发明专利15件，授权美国专利1件，获2021年吉林省技术方明一等奖1项，中国电子学会技术方明奖1项，培养获得博士、硕士研究生51人（博士10人，硕士41人），获优秀科学青年基金项目1项，青年长江1人。本项目的研究为真三维集成成像技术应用提供了理论支持和样例参考，我们相信该技术必将在军事、医疗、教育、娱乐等领域得到广泛应用。