超高清自由视点视频感知质量模型与绘制研究

Ultra-high definition free viewpoint video (UHD-FVV) systems are the development direction of next-generation video application. Perceptual quality assessment and rendering are important for realization of UHD-FVV systems. So far, the quality assessment model cannot assess the effect of UHD-FVV distortion on perceptual quality, and the rendering technology cannot satisfy both high perceptual quality and real time requirements in virtual view rendering. In the project, the perceptual quality model and the prediction model of UHD-FVV will be built and applied into the depth video enhancement and virtual view rendering. The main contents include perceptual quality model building and virtual view rendering method design. We plan to propose the subjective quality assessment method based on human visual perceptual feature and virtual view quality assessment metric based on depth neural network, and build the perceptual quality model of UHD-FVV. On the analysis the factors which affect the perceptual quality, we intend to propose perceptual quality prediction model. Based on the prediction model, we plan to propose depth video enhancement algorithm which accurate depth information can be obtained for the succeeding virtual view rendering. To improve rendering quality and reduce the computational complexity, we intend to propose perceptual weighted pixel interpolation, hole filling, distortion detection and elimination, virtual view fusion methods, and optimize the virtual view rendering from sequence and frame levels. The innovations on perceptual quality model and rendering method will lay a solid theoretical foundation for the industrialization of UHD-FVV systems.

超高清自由视点视频(UHD-FVV)系统是下一代视频应用领域的发展方向，UHD-FVV的感知质量评价和绘制是系统实现的关键。当前质量评价模型不能评价UHD-FVV失真对感知质量的影响，当前绘制方法不能同时满足高感知质量与低绘制复杂度的要求。本项目拟建立UHD-FVV感知质量模型和预测模型，并应用于深度视频增强和虚拟视点绘制。具体内容包括：提出基于人类视觉感知特征的主观质量评价方法和基于深度神经网络的虚拟视点质量评价算法，建立UHD-FVV感知质量模型；分析影响感知质量的因素，建立感知质量预测模型；提出深度视频增强算法，为虚拟视点绘制提供精确的深度信息；提出感知加权像素插值、空洞填补、失真检测与消除以及视点融合方法，从序列级和帧级优化虚拟视点绘制过程，提高绘制质量、降低绘制复杂度。本项目将在感知质量模型和绘制方法等方面取得创新成果，为UHD-FVV系统的产业化应用奠定理论基础。

超高清自由视点视频(UHD-FVV)系统是下一代视频技术领域的发展方向，UHD-FVV的感知质量评价和绘制是系统实现的关键。当前质量评价模型不能评价UHD-FVV失真对感知质量影响，当前绘制方法不能同时满足高感知质量与低绘制复杂度的要求。本课题拟建立UHD-FVV的感知质量模型和预测模型，并应用于深度视频增强和虚拟视点绘制。项目组针对视点视频生成过程中存在的局限性开展研究，（1）提出了一种实时视频视频压缩编码复杂度控制方法，在保持率失真性能的情况下，实现复杂度的精确控制；（2）提出了一种超高清视频的感知编码方法，在保证主观质量情况下，提升了压缩效率；（3）提出了一种面向自由视点视频系统的立体视频质量评价方法和一种无参考虚拟视点立体视频质量评价方法，评价指标能真实反映FVV系统中观看3D视频的感知质量；（4）提出了一种面向FVC的快速帧内编码算法和一种面向VVC的快速帧内编码算法，提升了超高清视频的编码速度；（5）提出了一种基于层间相关性的SHVC增强层码率分配算法；（6）提出了一种基于深度和结构相似性的四参考视点融合算法，提高了沉浸式视频系统的虚拟视点的主客观质量；（7）提出了一种基于稀疏失真模型的深度视频修复方法，能为虚拟视点绘制提供了准确的深度信息。项目组完成了项目的研究目标，建立了超高清自由视点视频系统的感知质量模型，形成基于预测模型的深度视频增强和虚拟视点绘制关键技术集，为自由视点视频系统的产业化应用奠定了理论基础。