面向高清/超高清的感知3D视频稀疏编码理论与技术研究

High definition (HD )/ Ultra HD 3D video is the new direction of the digital video and terminal display technology development, but HD / Ultra HD 3D video real-time applications present new challenges for high efficient 3D video coding. The Joint Collaborative Team on 3D Video Coding (JCT-3V) works on the next-generation 3D video standard based on the extension to high efficiency video coding (HEVC) focusing on HD / ultra HD 3D video,but it is difficult to apply in practice for 3D-HEVC with high complexity. To this end, the project expands around for HD / HD 3D video coding, in view of the existing situation of high coding complexity of 3D-HEVC , by jointly considering the characteristics of the human eye vision and video signal sparse,and exploits a perceptual 3D video sparse coding method oriented HD / Ultra HD. The method first proposed a perceptual compressed sensing (CS) model, in order to adapt to the characteristics of the 3D video coding and enhance the effectiveness of the encoding. Then, based on the model, we mainly study 3D video predictive coding method and 3D video rate-distortion optimization method based on perceptual CS model. We expected to achieve the high efficiency, low complexity 3D video coding algorithm. We expected that the project can be obtained with independent intellectual property core technology research, can promote a combination of mathematical theory and engineering applications, and can be used in the field of free viewpoint television, mobile 3D video and other areas.

高清/超高清3D视频是数字视频和终端显示技术发展的新方向，而高清/超高清3D视频实时应用对高效的3D视频编码提出新的挑战。JCT-3V正以HEVC为基础扩展制定主要针对高清/超高清的下一代3D视频标准-3D-HEVC，但3D-HEVC复杂度高很难在实际中应用。为此，本项目围绕面向高清/超高清3D视频编码展开，针对3D-HEVC的复杂度高的的现状，通过联合考虑人眼的视觉特性与视频信号的稀疏性特征，探索一种面向高清/超高清的感知3D视频稀疏编码方法。该方法首先提出一种感知的CS模型，以适应3D视频编码特点并增强编码的有效性。然后基于该模型，重点研究基于感知CS模型的3D视频预测编码和基于感知CS模型的3D视频率失真优化的方法，以获得高效率、低复杂度的3D视频编码新算法。预期本项目可取得具有自主知识产权核心技术的研究成果，可促进数学理论和工程应用的结合，可用于自由视点电视、移动3D视频等领域。

本项目主要探索基于压缩感知（CS）的感知3D视频编码（3D-HEVC）的方法。获得主要成果如下：1） 针对CS模型的低效性及复杂性问题，提出了优化的感知CS自适应测量及基于恰可觉察失真(JND)和随机置换的CS感知稀疏呈现方法，相比于现有CS模型，可大大提高编码效率；2）针对如何应用各种相关性来提高CS的3D频编码问题，提出了基于模式选择的自适应的CS视频编解码算法，相比于著名GSR算法和DISCO算法，在相同的取样率下,可有1～10dB的PSNR的增益；3）针对如何进一步消除人眼的视觉冗余，提出了基于感知模型的快速模式选择算法，相比于HTM，在不影响主观质量下，可节约79.54%的编码时间；提出了基于双目抑制的感知非对称感知视频编码方法，在保证3D感知质量的前提下，相对于HTM方法，可节省右视点约32%码率，对于传统的感知对称视频编码方法，可节省右视点约13%码率；提出了感知的快速自适应环路滤波（ALF）算法，可降低ALF编码复杂度，相比于现有高效ALF算法，可在编码复杂度相当的情况下获得更好的主观视频质量；提出基于深度和显著性调制的JND模型的3D视频残差预处理算法，与传统方法相比，在主观质量不变的时，可减少约16%的码率；4）针对如何进一步降低3D-HEVC的复杂度，提出了一种的低复杂度的自适应环路滤波算法，相比于HTM，在主观质量一样时，可降低约61%的环路滤波处理时间；提出了一种基于时域相关性的自适应采样值补偿算法，相比于HTM，在主观质量一样时，可减少1.06%的BD-rate；提出了一种综合利用视点间、时空相关性以及深度图来加速编码单元（CU）选取算法，相比于HTM，在主观质量一样时，可降低约56%的编码时间。.上述研究成果，可取得具有自主知识产权核心技术的研究成果，可促进数学理论和工程应用的结合，可用于自由视点电视、移动3D视频等领域。