基于光照感知的自体视三维显示光场数据增强技术研究

The auto-stereoscopic display can provide people with strong stereoscopic sensation and immersion. However, stereo display has several key problems, such as the upper limit on the precision and spatial resolution of the depth sensing devices, the dis-occlusion and ghosts in the virtual view synthesis, and the color inconsistency for the multi-view videos. In order to address these key problems in stereo display, we firstly construct a color-depth-correlation model of depth maps, and present efficient upscaling approach based on deep learning, which can overcome the sampling limitations of sensing devices and generate the high-resolution depth maps. Secondly, we apply the depth-texture mapping into the virtual view synthesis. In addition, we generate a new illumination-aware model, and present a novel illumination optimization approach in the view synthesis, which can eliminate the artifacts of local discoloring and boundary smudging, and achieve the high-fidelity view synthesis. Finally, we construct a local illumination constraint, and present a new illumination domain-based colorization and tone mapping for multi-view videos, which can avoid the loss of local illumination details and yield an environment-harmonized color enhancement. The proposed project meets the urgent need for the composition and enhancement of multi-view videos. It is expected to promote the development of 3D display industry including film making, digital entertainment and virtual treatment, which has the significant research value.

本项目针对自体视三维显示过程中存在的深度分辨率不足、视点合成容易失真、多视点图像颜色不一致，色彩协调困难等瓶颈问题，研究稀疏视点条件下基于光照感知的光场数据增强技术。首先，在构建颜色数据与深度数据关联性模型基础上，研究基于深度学习与色彩引导的深度图超分辨率技术，弥补深度传感与光学传感在采样分辨率上的差距，实现光场深度数据的分辨率增强；然后，通过深度纹理实现对于复杂三维场景的紧凑表达，研发基于深度图像的自适应渲染和空洞修补技术，通过光照感知优化消除光照失真影响，实现高真实感的虚拟视点合成效果；最后，在光照细节保持模型的基础上，研究光照保持的多视点图像颜色的一致性增强与编辑方法，避免光照细节丢失，产生与场景光照环境一致的色彩增强效果。本项目有望促进影视创作、互动娱乐以及虚拟现实等产业的发展，具有重要的研究意义。

项目整体实施顺利，各项任务按预定计划完成。项目组高质量的完成了既定目标，共发表高水平论文37篇（其中SCI论文21篇，EI论文16篇），取得了丰硕的研究成果；项目主要参与人申请国家级工程技术中心，夯实和加强了课题组的研究基础，构建并完善了实验室的研究梯队；在国内外交流方面，课题组成员在ICMR、ACM Multimedia、CASA、ACM VRCAI、CGI、CASA、PIC等知名国内外会议上作论文/短文宣讲，进一步扩大了课题组的学术影响力；在人才培养方面，课题负责人共培养6名博士（3人毕业），15名硕士（9人毕业）。本项目研究工作已经取得了坚实的成果。在图像着色方面，本项目提出了一种基于神经网络集成的全自动着色方法。首先提取了包含不同信息的特征，并将其作为神经网络的输入，然后结合联合双边滤波来生成无伪影的着色图像。相关结果已发表在IEEE Transactions on Image Processing。在深度图像超分辨率方面，本项目提出了一种从粗到细的级联卷积神经网络结构。通过结合较大的边缘保留滤波器和较小的滤波器来获得并优化粗糙的深度图，可以获得更好的高分辨率深度图像。在不同数据集上进行的实验证明了我们提出的方法的有效性。相关结果已发表在IEEE Transactions on Image Processing。在图像合成方面，本项目使用基于模糊宽度学习系统的多视图LDR图像来合成HDR图像。此方法可以合成包含更多细节和更少重影的HDR图像。相关结果发表在IEEE Transactions on Cybernetics。在视频合成方面，本项目基于梯度一致性优化提出了照明引导的视频合成，实验表明了该方法的有效性和高质量的视频帧合成。相关结果已发表在IEEE Transactions on Image Processing。在视频剪切方面，本项目提出了使用八边形敏感优化的光照不变性视频剪切，用来实现高质量的视频剪切和剪切效率。