沉浸式3D全景视频的表示编码及传输

Recently, many countries and international corporations put in large energy and investment on virtual reality (VR) industry. 3D panorama video, as the main source contents of VR, its capturing framework, calibration and stitching performance, compression efficiency, as well as transmission system, has direct effect on VR industry. Our project focuses on the research of framework designing and system structure of 3D panorama video communication. First, we design a calibration system and algorithm for 3D panorama video cameras, considering both the accuracy and complexity. In order to provide seamless and interactive performance, we propose color balance tuning algorithm and three-layer focus adapting framework based on gaze tracking. Second, by researching the popular panorama model, we propose corresponding model converting algorithms considering down/up-sampling process, as well as the compatibility with subsequent compression algorithm. Third, we propose asymmetric encoding, view-adaption encoding and affine-hybrid motion estimation into 3D panorama video compression. Finally, considering the bandwidth, delay time, probability of view switching and buffer size, a segmentation strategy is proposed for video transmission. An integral immersive 3D panorama video representation, compression and transmission system are formed so as to provide better source content and transmission framework for virtual reality industry.

近年来，各个国家和跨国企业不断在虚拟现实产业进行重点布局。而3D全景视频作为目前虚拟现实视频的主要内容源，其拍摄架构、拼接质量、编码性能和传输效率等环节直接影响着虚拟现实产业的发展。本项目着眼于研究和设计沉浸式3D全景视频通信的框架和系统。首先，课题研究并设计相应的3D全景相机标定系统，同时兼顾了标定的速度和准确性；为了实现较好的无缝式拼接和交互式体验，课题提出了相应的颜色平衡调节算法和基于眼球跟踪的三层自主式变焦体系。在模型表示方面，课题研究了几种常用的模型，并设计了模型转换过程中的上下采样架构，以提高转换性能。在视频编码方面，设计了非对称编码框架、视角自适应编码算法和混合仿射变换的运动估计算法。最后，综合带宽、延迟、视角切换概率和缓存区大小设计切片策略和传输架构，最终实现一套完整的沉浸式3D全景视频的表示编码及传输体系，为虚拟现实产业提供稳定的内容和通信架构。

3D全景视频的方式为用户提供一种沉浸式的视觉体验，受到广泛的关注和研究。围绕3D全景视频的采集、拼接、模型表示及编码传输等关键问题展开了深入的研究。1)项目设计了3D全景视频采集系统的原型，可以实现八个镜头的全方位视频实时采集。2)研究了广角镜头图像的畸变校正算法：包括基于统一学习模型的全方位图像畸变自动校正方法，基于畸变分布图的校正方法，基于条件GAN的校正方法以及基于渐进式补全网络的校正方法。整个校正算法可以服务于全景拼接过程，也为其它广角图像的场景理解和分析提供了基础。3)传统拼接算法是基于手工特征点的算法，在纹理丰富的场景下效果非常好。但在一些低纹理、低分辨率、低光照等场景下非常不鲁棒。提出了第一个深度学习拼接任意视角图片的拼接方法，提出了一个深度学习图像拼接的合成数据集。设计了有监督和无监督拼接算法，实现图像的自动拼接，最终形成全景视频。4)在全景视频编码过程中，投影格式与编码算法是最关键的两个要素。课题围绕全景视频的特性，提出了几种投影格式，以适配随后的全景视频编码。分别为一种近似均匀采样的少畸变双八边形投影格式、一种等面积均匀立方体投影格式、一种基于环形分割的均匀对称立方体投影格式，为全景图像的紧凑少畸变表示提供了新的格式。5)最后，课题提出了全景图像视频的高效编码方案：包括区域自适应的编码方案，自适应视口的全景图像质量增强算法，基于旋转球面的全景视频参考帧预测编码算法等，可以高效传输4K乃至8K的全景视频。整个项目对于广泛需要3D全景视频的VR视频通信等场景具有重要意义，同时对其它需要全景视频的场景，如车载环视辅助驾驶系统，也具有重要意义。