面向视频场景光场显示的边缘驱动与模糊理论联合视图生成研究

Light field imaging is currently the most advanced true-3D autostereoscopic display technology. It has an urgent problem of lacking high-quality content. Unconstrained video acquisition is the cheapest and the most convenient way of obtaining light field images. However, the virtual views have to be generated via multi-view stereo (MVS) and image-based rendering (IBR). Ambiguous matches from MVS can easily degrade the results of IBR and light field imaging. The edge-driven (ED) method and fuzzy theory (FT) have complementary advantages in terms of efficiency and robustness. Considering this, our project proposes an approach for view synthesis from videos by combining ED and FT. Its originality is to achieve efficient and robust IBR using fuzzy and sparse MVS. In this project, we will explore: 1) the compact and fuzzy edge reconstruction for real views; 2) the cross-view synthesis and accurate, blind self-location of fuzzy edges; 3) low-cost destination and occlusion removal of fuzzy surfaces for virtual views with multiple constraints. ED and FT can benefit each other in this end-to-end “MVS-IBR” framework, which will lead to high-quality texture mapping of new views. Finally, light field imaging experiments will be carried out for evaluation. This project will support the key science and technology foundation for the content richness and practicality of light field imaging.

光场显示是当下最前沿的真三维立体显示技术，亟需解决优质内容匮乏的瓶颈。视频无轨采集作为最廉价最便捷的光场图像获取手段，需要通过多视图三维重建（MVS）和基于图像的渲染（IBR）生成虚拟视图。本项目针对MVS的歧义匹配容易降低IBR质量进而影响光场显示效果的难题，鉴于边缘驱动（ED）与模糊理论（FT）在效率与容错性方面的优劣势互补特征，提出联合ED和FT的视频场景视图生成方法，开辟基于模糊稀疏MVS实现高性能强鲁棒IBR的新思想。深入研究真实视图边缘的高紧凑度模糊建模算法，探索模糊边缘的跨视点合成和无图像引导的自主精确定位策略，探究多重约束下虚拟视图三维模糊表面的低代价稠密化和遮挡处理方案，形成端到端式“MVS-IBR”框架下ED和FT的相辅相成机制，从而为新视图的高质量纹理映射奠定基础，最后通过光场显示实验验证其有效性。本项目的实施将为光场显示技术的内容制作与应用落地提供关键科学技术支撑。

光场显示是当下最前沿的真三维立体显示技术，亟需解决优质内容严重匮乏的瓶颈。视频无轨采集作为最廉价最便捷的光场图像获取手段，需要通过多视图三维重建（MVS）和基于图像的渲染（IBR）生成虚拟视图。本项目着重针对MVS的歧义匹配容易降低IBR质量进而影响光场显示效果的难题，鉴于边缘驱动（ED）与模糊理论（FT）在效率与容错性方面的优劣势互补特征，深入研究了真实视图边缘的高紧凑度模糊建模算法，探索了模糊边缘的跨视点合成和无图像引导的自主精确定位策略，探究了多重约束下虚拟视图三维模糊表面的低代价稠密化和遮挡处理方案，通过形成端到端式“MVS-IBR”框架下ED和FT的相辅相成机制，提出了联合ED和FT的视频场景视图生成方法；以此为基础，面对单目视频场景光场显示系统的实际应用与性能验证：针对高分辨率光场图像的虚拟视图渲染计算量大的问题，提出了基于尺度不变特征变换的光场图像角度域超分辨率算法；针对光场图像数据量大造成不便存储和传输高清立体显示内容的问题，提出了基于三维与四维二次核混合回归的光场图像编码算法；针对光场显示的细节对比度通常在采集和成像阶段都退化的问题，提出了基于共生滤波与风格迁移的光场图像细节增强算法；针对光场图像生成质量在光场显示平台上的测试，提出了性能更优的集成成像系统改进方法和裸手手势隔空交互方案。本项目开辟了基于模糊稀疏MVS实现高性能强鲁棒IBR的新思想，为新视图的高质量纹理映射和光场图像的立体显示实验验证奠定了基础。依托本项目，累计发表学术论文9篇，其中SCI源刊4篇，EI检索5篇；申请国家发明专利13项，已授权4项；协助培养博士研究生6人，硕士研究生4人；相关技术荣获吉林省技术发明奖一等奖；将本项目提出的理论及方法与具体应用结合，项目组又获批或参与多项国家自然科学基金与省级项目。本项目的实施为光场显示技术的高质量内容高效制作及应用落地提供了关键科学技术支撑。