基于HEVC的多视点视频加深度三维视频编码快速算法研究

Multiview video plus depth is an important 3D video data which can provide the glasses-free 3D visual experience beyond what is offered by the traditional single view video data. The HEVC-based 3D video coding of mulltiview video plus depth (3D-HEVC) can encode the video data efficiently. However, due to multiple video points and the high computational complexity of HEVC, the encoder of 3D-HEVC consumes huge computational load. This project is intend to address the fast algorithm technology of 3D-HEVC for 3D video system with limited computational resource. First, a fast CTU encoding algorithm based on interview-temporal-spatial correlations is proposed to optimize the partition of coding unit, the selection of prediction mode, and the interframe estimation during the CTU encoding processes. Second, a fast CTU encoding algorithm based on the correlation between video frame and depth frame is presented to further reduce the complexity of CTU. Finally, according to the structure of multiview coding, a computational complexity control algorithm is introduced to control the whole complexity and its fluctuation precisely. The target computational load of different coding layers are allocated adaptively, and parameters in above mentioned fast algorithms are adjusted according to the target computational load.

多视点视频加深度的三维视频可以为用户提供单视点视频无法比拟的裸眼三维视觉。基于HEVC的多视点视频加深度三维视频编码(3D-HEVC)可以实现高效的视频压缩，但由于视点个数多以及HEVC本身计算复杂度高的原因，其消耗的计算量巨大。本课题拟对3D-HEVC快速算法展开研究，解决在计算资源受限的三维视频系统中编码计算量过高以及波动较大的问题。首先提出一种基于视点间-时域-空域相关性的CTU编码快速算法，利用编码信息的视点间全局相关性以及视点间-时域-空域局部相关性，对编码单元划分、预测模式选择和帧间估计进行优化。接着提出一种基于视频图像与深度图像相关性的CTU编码快速算法，视频帧和深度帧相互利用处理信息，进一步降低编码计算量。最后提出一种基于分层结构的计算复杂度控制算法，根据多视点编码结构特点，对不同粒度编码层进行计算量的自适应分配，并与上述已研究的快速算法相结合，实现对编码计算量的准确控制。

多视点视频加深度(MVD)三维视频采用多个稀疏视点的彩色图像及对应的深度图像来表示三维场景，可应用在三维电视、自由视点电视、虚拟现实等多媒体领域，是目前学术界和工业界都在重点研究的三维视频数据格式。虽然HEVC优异的压缩性能可为MVD三维视频提供高效的数据压缩，但由于需要对多个视点的图像进行编码，其整体计算量巨大，且计算量会随着视频场景而较大波动，严重阻碍了其在三维视频系统中的实际应用。. 为了降低MVD视频HEVC编码的计算量及其波动，本项目通过分析编码预测结构和最佳编码模式的统计特征，对计算量最为集中的编码模式决策环节展开研究，主要包括编码树单元(CTU)四叉树划分、帧内预测模式选择和帧间预测模式。首先，提出了一种基于纹理划分和时空相关性的编码单元(CU)划分算法，包括对CTU深度范围进行预测以及提前终止部分CU的划分，解决CTU递归划分计算量过大的问题。接着，提出了一种基于纹理方向特征的帧内预测模式多级选择算法，以减少预测单元(PU)计算哈达玛代价和率失真代价的候选帧内预测模式个数，有效地降低帧内编码PU预测的计算量。最后，提出了一种基于父子CU空间相关性和运动特征的帧间预测模式选择算法，有效地降低帧间编码PU预测的计算量及其波动都较大的难点问题。所研究的算法从CTU、CU和PU这三个不同划分粒度显著地降低编码的整体计算量，并能通过算法参数有效控制不同视频场景下的计算量波动。. 本项目共发表论文8篇，获得10项授权发明专利。项目的部分研究成果联合汉鼎信息科技股份有限公司获得2015年浙江省科学技术进步奖二等奖。通过与中国电子科技集团第五十二研究所等单位的合作，将项目相关技术应用到实际产品中。综上所述，本项目的研究内容是三维视频领域的基础性研究工作，具有重要的学术研究意义和良好的实际应用价值。