端到端三维视频的全局率失真建模及优化编码

Depth-based 3D video coding has attracted great interest and efforts in the recent years. However, the coding is generally performed based on rate-distortion optimization (RDO) independently for each coding unit, due to the great challenges posed by global RDO. There has been little progress on global RDO research in the past two decades. In this project, we aim to investigate the global RDO by modeling the global RD functions for depth-based 3D video coding through exploring the RD relationship among coding units. First, we will consider the source distortion propagation model in four aspects, namely, temporal, inter-view, spatial, and texture-depth propagations. Based on the 4-dimensional source distortion propagation model, we will develop the global RDO scheme for 3D video coding at the source end. Moreover, considering channel distortions or loss which leads to prediction (or reference) mismatch between the encoder and decoder sides, models for prediction mismatch and its propagation in the same four dimensions (i.e., temporal, inter-view, spatial, and texture-depth) need to be develped. Based on both source and channel distortion models, we can finally achieve the global RD models for the end-to-end 3D video coding and then perform the associated global RDO for the best coding performance.

基于深度的三维视频编码得到了国际学术界和工业界的广泛关注，由于全局率失真优化编码的理论分析及实现难度极大，一般只能采用局部率失真优化，极大地损失了编码效率。目前视频编码的全局率失真优化研究进展甚为缓慢。本项目通过分析与分解视频编码单元之间的相关性，首先从理论上推导编码端全局率失真的函数表达，深入分析三维视频信源失真在时域、视点域、空域和纹理-深度之间的扩散情况，建立信源失真四维扩散模型，进而提出编码端的全局率失真优化模型及编码方法。在此基础上，考虑信道失真对解码结果的影响，对端到端的全局率失真优化进行理论建模。针对信道失真在解码端引起的预测失配扩散情况，建立相应的预测失配四维扩散模型，并与信源失真扩散模型相结合，对当前编码单元失真导致的端到端全局率失真进行估算，最终发展端到端的全局率失真优化模型及编码方法。该研究目标的实现，将为三维视频的进一步发展提供理论与方法的有力支持。

随着电子信息技术和视频采集方式的发展，数字视频应用到了社会生活的各个领域，视频数据呈现爆发式的增长。相比较于传统二维视频，三维视频具有更大的数据量，对存储和传输带来较大压力。因此，如何发展新的编码技术进一步提高视频压缩效率具有重要的现实意义。本项目开展了视频编码的全局率失真模型与优化编码研究，取得的主要成果包括：(1)提出多种三维视频虚拟视点合成优化方法；(2)提出低延迟和随机接入编码结构的时域全局率失真优化方法；(3)提出高效多策略帧内、帧间预测优化算法；(4)提出基于内容分析一致性的视频编码优化方法；(5)提出基于张量的高阶图像数据紧凑表示方法；(6)提出基于全局率失真优化的视频编码码率控制方法。上述成果以一系列的研究论文、发明专利和标准提案形式呈现，在图像视频领域IEEE期刊 TIP、TCSVT、TMM、TBC、J-STSP和中文期刊计算机辅助设计与图形学学报、中国图象图形学报等发表论文35篇，在重要学术会议IEEE ICME、IEEE CVPR、IEEE ICIP、IEEE MMSP和IEEE BMSB等发表论文15篇，申请发明专利19项，已授权5项，被AVS采纳提案18项。此外，依托本项目，共培养博士研究生3名、硕士研究生15 名，其中2名博士生和11名硕士生已毕业。综上，本项目组完成了预定的计划任务，实现了预期的科研目标。