融合视觉感知特性的低复杂度视频编码关键技术研究

The latest High Efficiency Video Coding (HEVC) standard significantly increases the computation complexity for improving its coding efficiency. Since it is limited by the conventional block-based hybrid coding framework, the visual redundancy could not be removed effectively. So there should also be some room for the improvement of video encoding efficiency. Based on the characteristics of human visual perception, this project will do research on the perceptual rate-distortion optimization and low-complexity mode selection algorithm in HEVC. First, a stair quality level plot function will be modeled by machine learning algorithm which is trained using the data obtained by subjective tests and JND masking effect. This stair quality level plot model will indicate the stair-wise relationship between the subjective perceptual quality and the quantization parameter. Meanwhile, a block-based spatio-temporal visual saliency model will be built by fusing the visual features of video sequences in spatial domain and temporal domain. The block-based spatio-temporal visual saliency model will represent the region and degree of human visual attention in the video sequences. Second, the visual perception characteristics in stair quality level plot model and block-based spatio-temporal visual saliency model will be combined to develop the perceptual rate-distortion optimization method of HEVC, which utilizes the perceived video distortion as the distortion metric. Then fast mode selection algorithm for HEVC will be proposed using the new perceptual rate-distortion optimization method and the visual perception characteristics. Finally, the low-complexity perceptual video coding scheme of HEVC will be realized. The corresponding outcome is expected to provide theoretical and technology basis for the spread and application of HEVC and perceptual video coding.

新一代视频编码标准HEVC在提高编码性能的同时大幅增加了计算复杂度，且受限于传统的混合编码框架，并不能有效去除视觉冗余，因此编码效率仍具有提升空间。本项目将通过融合视觉感知特性，研究HEVC感知率失真优化与低复杂度模式选择算法。首先，利用主观质量测试与JND掩盖效应，运用机器学习算法建立阶梯式主观质量层次模型，揭示主观感知质量与编码量化参数之间的阶梯关系；同时，通过融合视频序列在空间域和时间域的视觉特征，建立基于区域块的时空域视觉显著性模型，反映人眼对视频序列的关注区域及关注程度。然后，通过融合上述阶梯式主观质量层次模型和时空域视觉显著性模型的视觉感知特性，以主观感知失真作为失真度量，实现HEVC感知率失真优化方法，进而降低HEVC编码模式选择的运算复杂度。最终实现融合视觉感知特性的低复杂度HEVC感知视频编码算法，为促进HEVC和感知视频编码的推广和应用提供理论和技术基础。

本课题从人类视觉特性出发，主要研究基于主观视觉感知模型的HEVC感知视频编码算法。主观视觉感知模型核心内容是主观视觉信息的有效表示问题，而视频编码的根本目标则是要使用尽可能少的编码比特来表达原始视频中包含的视觉信息。因此可利用主观感知模型进行高效的编码，为突破现有编码技术框架提供新思路。第一阶段，本项目通过提取视频的空域高斯模型和时域运动矢量特征分别建立显著图，并采用基于竞争的方法进行融合形成适用于HEVC编码的压缩域视觉显著性模型。实验结果表明所提出显著性模型的KL散度、ROC曲线以及AUC曲线优于经典方法，且平均检测速度较快。本项目还利用HEVC编码视频的主观测试实验、JND掩盖效应和机器学习等方法，建立了一种符合视频编码特性的阶梯式主观质量层次模型，从而揭示编码视频序列主观感知质量与量化参数之间的阶梯式函数关系。实验结果平均误差小于0.07。第二阶段，本项目利用了视觉显著性模型建立当前区域块的显著性与对应编码单元划分深度的映射关系，同时采用掩盖效应因子对编码单元的划分深度范围进行调节；然后使用融合视觉感知特性的率失真优化方法实现HEVC编码单元划分深度的选择以及视频帧量化参数的调节，在提高编码效率的同时降低HEVC编码模式选择的计算复杂度。实验结果表明此类算法能在保证视频质量的前提下减少10%以上的码率；或减少50%以上的计算复杂度而造成较少比特率的增加。另一方面，为了解决当前码率控制算法所产生的视频质量分布与人眼感知不匹配的问题，研究基于视觉显著性的码率控制算法，根据人眼对视频内容的感兴趣程度分配码率，从而增强感兴趣区域的质量。本项目使用拉格朗日乘子法求解该优化问题。实验结果表明所提出的码率控制算法使得帧的显著性加权PSNR提升1dB以上。本项目的相关研究成果可以用于常规的高清视频编码工作中，更可以在对于编码复杂度或主观质量有限制的场合更好地发挥优势。