立体视频的高效编码研究

As a media that can provide better watching experience, 3D video is becoming more and more popular, and it has also been a hot topic in the multimedia research community. However, the amount of data in 3D videos is huge, and the computational complexity required for its compression is increasingly high. To cope with this challenge in the development of 3D industry, efficient coding under constrained computing resource is necessary. Current research on 3D video coding is only based on the simple extension of 2D video coding, and lacks deep insight into the characteristics of 3D video data. Existing works on encoding speedup have not yet exploited the features of new-generation hardware. In this project, we propose to optimize 3D video encoding in terms of both compression efficiency and execution speed. First, we try to find the probability distribution that can accurately describe the 3D video source, and obtain the optimal quantization scheme and rate-distortion models based on that distribution. Then we apply the results of the theoretical work to practical encoders, aiming to achieve fast rate-distortion optimization (RDO) by accurately estimating the rate and distortion (including distortion of the synthesized views). Finally, we will design a high-performance encoding platform based on the latest Heterogeneous System Architecture (HSA), and further increase the speed of the encoder by implementing fast algorithms for certain encoding modules. These works can push forward both the theory of source coding and the application of 3D videos.

立体视频作为体验更好的媒体方式已经越来越普及，而且成为了近年来多媒体研究领域的一大热点。然而立体视频的数据量庞大，其压缩算法的复杂度也越来越高，这对立体视频的发展带来了巨大的挑战。在有限的计算能力下实现尽可能高效的编码是应对这一挑战的重要手段。目前的立体视频编码优化是在平面视频编码上的简单扩展，缺乏针对性的深入研究；而且编码并行加速方面的工作也没有充分利用新的硬件特性。本课题将致力于立体视频的高效编码，着重从压缩效率和计算速度两个方面提高编码性能，主要包括：寻找能够准确描述立体视频信源的概率分布，得到特定分布下最优的量化模式及率失真函数模型；把理论分析结果应用到实际编码器中，并通过准确估计码率和失真（包括合成视点失真）来实现快速高效的率失真优化；设计基于异构计算的编码平台并研究特定编码模块的加速算法，提高立体视频的编码速度。这些工作对扩展信源的编码理论和推进立体视频的应用都具有重要意义。

本项目对立体视频高效编码问题做了系统和深入的研究，取得了可观的科研成果。项目期间共发表高质量学术论文15篇，其中1篇荣获MMC 2017 Best Paper Award；申请专利10项，其中授权专利5项。所完成的研究和取得的成果主要体现在三个方面：立体视频编码的率失真分析及优化研究、异构计算的编码加速研究、立体视频的标准研究及实践。.在立体视频编码的率失真分析及优化研究中，课题组开展了长期大量的理论分析和研发实践，主要集中在视频内容研究及主流编解码器优化方面。考虑到视频内容是进行视频编码率失真优化过程中不可忽略的要素，课题组首先对图像风格化方法进行了研究。针对HEVC编码标准计算复杂度高的特点，课题组提出了一整套编解码加速和优化的方案，包括任意比例下采样转码算法、增强型块划分搜索算法、指令优化等方法，再结合理论推导和分析进一步完成，从而提升立体视频的编码效率。.在异构计算的编码加速研究中，主要针对基于GPU的编码加速方法进行了研究。课题组提出了新颖的两步IME算法，在提升编码速度的同时，保持了搜索精度。由于IME算法独立于其他模块，对于不同的基于GPU的编码应用来说都可以适用。该部分研究成果对于进一步加快立体视频的编码速度具有积极的指导意义。.在立体视频的标准研究及实践中，课题组对AVS2视频解码器进行了优化，并将优化后的解码器集成到一个多视图系统中，有效适应了移动端实时解码需求。此外，课题组也对立体视频的传输过程进行了研究，提出了一种新的自适应播出缓冲区管理方法，在保持播放连续性的同时动态优化缓冲区以减小播放延迟。最后，课题组也对视频图标插入、视频融合等实际应用场景进行了研究，有力推动了立体视频的应用普及。课题组同时注重理论与实际相结合，将部分研究成果成功应用在了视骏Lentoid编码器和解码器上，并已服务于美拍视频、今日头条和花椒直播等诸多产品，产生了良好的经济效益。