基于感知失真度量的高效视频编码率失真优化研究

High Efficiency Video Coding (HEVC), the new generation video coding standard, employs special coding technologies which lead to new types of distortions. Rate distortion (RD) optimization for HEVC is rather challenging, since its RD performance is distinctive. Since the observer of videos is human, this project utilizes the perceptual distortion as the distortion measure, based on which RD models and optimization for HEVC are developed. The new distortion introduced by new coding technologies in HEVC and its perception are first examined, both in temporal and spatial domain. Then the perceptual distortion model can be proposed. Furthermore, the rate model for the source which is not i.i.d. is derived, considering dependency within the coding source. The perceptual distortion model and the rate model are combined to get the RD model for HEVC. Then the Lagrange Multiplier can be derived based on that. Using the determined Lagrange Multiplier, Lagrangian optimization can be applied to achieve optimized coding parameters for HEVC. Moreover, accurate estimation of the rate and distortion is addressed, based on which low complexity Lagrangian optimization and fast optimization under parallel processing are investigated. This project aims at finding out theoretical solutions for RD optimization for HEVC. The corresponding outcome is expected to provide scientific basis for research on the perception of new coding distortions and RD characteristics of dependent coding sources. The realization of RD optimization for HEVC is also expected, where low complexity implementations based on parallel processing may become core technologies in industrialized hardware of HEVC codecs.

新一代高效视频编码（HEVC）标准采用了多种编码新技术，引入了新的失真类型。HEVC的率失真性能不同于传统视频编码，其率失真优化具有新的挑战。由于视频的最终观测者是人，本课题以感知失真作为失真的度量，研究HEVC的率失真模型及优化。首先分别研究HEVC新编码技术在时间域和空间域引入的新类型失真及其感知，建立感知失真模型。进而考虑信源的依赖特性，为非独立同分布信源建立速率模型。使用上述率失真模型推导拉格朗日因子，开展拉格朗日优化，获得最优的编码参数。进而基于精确的率失真预测，研究低复杂度拉格朗日优化和适用于并行处理的快速率失真优化。课题旨在从理论上解决基于主观质量最优的HEVC率失真优化问题，相关成果预计能够为研究人眼对新类型编码失真的感知和依赖信源的率失真特性提供科学依据，并对推动HEVC的实用化具有重要意义。其中适用于并行处理的低复杂度方法有望成为HEVC商用硬件编解码器的核心技术。

新一代高效视频编码（HEVC）标准采用了多种编码新技术，引入了新的失真类型。HEVC 的率失真性能不同于传统视频编码，其率失真优化具有新的挑战。由于视频的最终观测者是人，本课题以感知失真作为失真的度量，研究 HEVC 的率失真模型及优化。首先研究 HEVC 新编码技术在时间域和空间域引入的新类型失真及其感知，分别建立了考虑视频内容特性的编码失真模型和时域抖动效应感知失真模型。进而考虑信源的依赖特性，建立基于自信息量的编码速率模型，建立了考虑失真与码率的依赖关系的率失真模型。在上述率失真模型的基础上，研究了拉格朗日因子选择，通过开展拉格朗日优化，研究最优的编码参数选择。分别提出了3种量化因子选择方法，获得明显编码效率提升，同时抑制或消除了时域抖动效应。提出了2种码率控制算法，在获得更精确的码率控制的同时，编码效率更高。提出了1种提高感知质量的像素自适应补偿(SAO)率失真优化方法和1种可以抑制时域闪烁效应的三维SAO率失真优化方法。进而基于精确的率失真预测，研究低复杂度拉格朗日优化方法，分别针对编码单元划分、率失真优化量化、SAO等快速率失真优化方案。此外，研究过程中还探究了新兴视频业务360视频的感知质量及考虑显示环节的视频质量感知与建模。..课题旨在从理论上解决基于主观质量最优的 HEVC 率失真优化问题，相关成果能够为研究人眼对新类型编码失真的感知和依赖信源的率失真特性提供科学依据，并对推动 HEVC 的实用化具有重要意义。其中各类快速算法已在工程项目中获得应用，将成为 HEVC 商用硬件编解码器的核心技术。扩展研究的内容将为未来研究360全景视频编码、新兴视频网络业务的传输及编码率失真优化提供重要理论依据。..项目出版专著1本(电子工业出版社)，录用和发表期刊论文21篇，其中包括视频领域TOP期刊IEEE Trans. on CSVT 、IEEE Trans. on Multimedia等。发表包括视频图像领域TOP会议ICIP在内的会议论文9篇。申请及获批专利7项，获得软件著作权3项。