基于HEVC的三维视频深度编码关键技术研究

With the development of 3D display and interactive multimedia systems, new next-generation video applications, such as depth-based 3D video coding, is a key unresolved issues. The next-generation video compression standard HEVC coding efficiency significantly higher than the multi-view video MVC but not optimized for depth maps coding.Compared to conventional 2D video images, depth maps have very different characteristics. Use of existing HEVC codecs to compress depth maps will introduce distortions into the novel virtual views. A prediction structure optimization based on new modes for intra prediction,inter-component prediction and inheriting the motion parameters for depth coding is proposed to reduce distortion of virtual view synthesis in 3D video system. Since the depth maps need to be compressed in a way that minimizes distortions in the rendered views, we propose a distortion model that approximates rendering distortions caused by depth changes in HEVC depth coding. According to the statistics of depth data, a depth down/up sampling techniques and depth reconstruction filter based on HEVC is proposed, and we hope to improve the HEVC depth coding efficiency and achieve better rendering quality.This project offer new research methods and techniques to achieve efficient 3D video depth coding, and make a contribution for 3D international standardization development.

随着3D显示和交互多媒体系统的迅速发展，三维视频将成为下一代视频应用的主要方向，其中基于深度格式的三维视频编码是尚未解决的关键问题。目前新一代视频压缩标准HEVC编码效率显著高于多视点视频MVC，但未对深度图做优化，即深度和纹理视频之间的差异性使得直接采用HEVC对深度进行编码会在绘制新视点中引入失真。本项目通过研究三维系统中深度压缩带来的量化失真对重建虚拟视点质量产生的影响，采用新的视间、帧内预测和运动矢量模式方法，对基于HEVC的三维视频深度编码进行预测结构优化；探索一种以绘制视点失真最小化的方法来压缩深度图，建立由HEVC深度编码引起深度变化而造成的绘制视失真的估计模型；设计基于深度特性的上下采样方法和HEVC深度重建滤波器，有望从总体上提高HEVC深度编码效率和减少视点绘制的赝像。本项目研究为实现高效三维视频深度编码提供新的方法和技术手段，对促进三维视频的国际标准化发展有积极作用。

本项目主要探索基于多视点深度的新一代三维视频编码中若干未解决的关键科学问题。获得主要成果如下：1）针对现有HEVC编码多视点深度序列预测结构效率低的问题，提出基于视点间冗余和深度特性的视差补偿预测理论、结构和高效压缩编码方法，可比原始的HEVC平均运算量降低74%，受到欧、美专家的高度评价。2）针对HEVC压缩深度图时很少考虑直接地减少绘制失真的问题，提出以绘制视点失真最小化的方法来压缩深度理论与方法，建立由有损深度编码引起深度变化而造成的绘制视失真的估计模型，可综合提高深度图的编码效率和减少视点绘制的赝像。3）针对如何降低自由视点三维电视系统中深度估计不准确、给后续多视点深度编码和虚拟视点绘制带来困难的问题，提出面向编码和绘制的多视点图像深度滤波算法，可比未优化的HEVC方法平均提高0.18dB PSNR 增益，并显著降低了传输码率。本项研究开展以来，已在国内外重要期刊上发表论文29篇，其中SCI检索24篇，入选ESI高被引论文1篇；申请专利6项，授权专利2项。上述研究成果，对新一代三维视频的发展和应用提供了基本理论和技术基础。