面向光栅式裸视3D显示的多视点视频重建与立体合成技术研究

In response to the development trend of 3D display technology advancing from glasses-aided to glesses-free, this project proposes to research on 3D reconstruction and stereo interlacing of multiview video for grating-based autostereoscopic 3D display. The research contents mainly include the following parts. First, oriented for improving the stereo visual effects of planar 3D display, research on multiview disparity optimization theory and methods, to achieve healthy, comfortable, and high fidelity multiview look-around effects. Second, oriented for improving the image quality of the synthesized virtual view video, explore the methods to generate a global 3D sprite with multilayer texture-plus-depth information by accumulating single-layer texture-plus-depth information of the reference view along time, research on joint temporal-spatial hole filling algorithms, and develop high quality multiview video reconstruction technology. Third, oriented for improving the visual quality of grating-based autostereoscopic 3D display, research on optimization theory and methods for stereo interlacing of multiview video, explore novel approaches to reduce optical distotions by video signal processing. Finally, oriented for real-time 3D terminal applications, research on efficient parallel processing technology based on general-purpose GPUs and specialized VLSI architectures, to promote knowledge production transform and industrialization. The overall goal of the project is to explore novel solutions to difficulty problems encountered in the application of grating-based autostereoscopic 3D display, to develop new theory and methods for 3D video reconstruction and 3D video display, and to provide key technologies to support for sustainable and healthy development of 3D culture industry.

本项目结合3D显示从助视走向裸视的发展趋势，面向基于光栅和2D平板显示器耦合而成的裸视3D显示技术，研究多视点视频的3D重建和立体合成技术。主要研究内容包括：面向提高平板式3D显示的立体视觉效果，研究多视点视差优化理论和方法，以取得健康、舒适、逼真的多视点环视效果；面向提高虚拟视点图像质量，探索在时间方向上对参考视点的3D场景信息进行积累和更新的方法，构造出基于多层"纹理＋深度"的3D全景，研究时空域信息联合的空洞修复算法，发展多视点视频的高质量重建技术；面向改善光栅式3D显示质量，研究多视点视频立体合成的优化方法，通过视频信号处理的途径减少光学失真；面向3D终端实时应用，研究基于通用GPU和专用VLSI结构的高效并行处理技术，促进成果的产业化应用。本项目旨在探索解决光栅式裸视3D技术应用中的难点问题，发展视频3D重建和3D显示的理论与方法，为3D文化产业的持续健康发展提供关键技术支撑。

本项目面向3D显示从助视走向裸视的发展趋势，结合基于柱透镜光栅和2D平板显示屏耦合而成的裸视3D显示技术，研究了多视点视频的3D重建和立体合成技术。主要研究内容和成果包括：. （1）多视点图像视差的优化方法。针对平板式3D显示，研究了多视点重建中立体参数对3D显示视觉效果的影响。基于多视几何学、聚焦深度理论、舒适性观看规则以及用户个性化偏好，提出了一种新的立体参数调整方法，能够获得更加舒适、逼真的立体感知效果。. （2）多视点视频立体合成的优化方法。提出了一种使用黑白测试图像集的在系统测量柱透镜光栅实际参数的方法。提出了一种高计算效率的基于逆滤波的视点间串扰消除方法，能够显著减少来自相邻视点的伪影图像。提出了一种超多视点裸视3D显示方案，能够有效减少视区切变。. （3）立体匹配算法。提出了一种基于数字图像滤波器的局部立体匹配算法框架，将匹配代价聚合和视差图后处理统一建模为保持边缘的平滑滤波问题。通过设计采用高效的自适应引导图像滤波算法，有效提升了局部立体匹配算法的精度和速度。. （4）多视点视频重建算法。针对虚拟视点重建图像中的空洞问题，提出了三种新的视频修复算法，分别利用时空域联合相关性、超像素分割和自回归模型，可以有效提高虚拟视点图像的质量。. （5）并行处理实现。面向3D TV终端实时应用，研究了基于通用GPU和基于FPGA上专用VLSI结构的高效并行处理技术，分别开发了基于稠密深度图的多视点视频实时重建平台和基于图像形变的实时双目立体转多视点平台。. 研究成果已发表了12篇学术论文，其中6篇为SCI期刊论文。申请了4项国家发明专利，其中2项已获授权，并已转化应用于企业。通过本项目工作，获得了视频3D重建和3D显示的新知识和新理论，对柱透镜裸视3D技术应用中的若干难点问题提出了创新的解决方法，为3D文化产业的持续健康发展提供了技术支撑。