基于层次选择性注意的高效视频编码算法研究

基于视觉注意的感知编码是近年来视频编码领域的研究热点之一。目前相关研究普遍采用基于空间的视觉注意建模方法检测显著区域并对其进行优先编码。这类方法在提高编码效率方面取得了一定成功，但由于建模过程中没有考虑物体的整体显著性及视觉的层次选择过程，会导致显著目标检测不准，从而无法高效地去除视觉冗余。视觉认知研究表明层次选择性注意模型能够很好地刻画视觉注意从物体群组-群组中的物体-物体特征-空间点的由粗到细的层次选择过程，可以获得更准确的多层次的显著图。因此本项目同时考虑不同位置的局部显著性和视觉注意的不同层次的物体整显著性，针对空时显著性相似物体，研究视觉注意相关的高效变换方法，针对视觉注意的不同层次人眼所能感觉到的视觉失真不同，建立多层次融合的感知失真模型，针对视频图像中存在的多层次视觉冗余信息，探索显著性相关的残差滤波及多层次码率控制方法，从而实现基于层次选择性注意的高效视频编码。

传统的感知视频编码方法在失真建模过程中较少考虑视觉注意的层次选择特性，从而无法高效地去除视频编码中的视觉冗余。为此，本项目研究了如何利用层次选择性视觉注意来建立更符合人眼视觉特性的感知失真模型，并研究了在所建感知模型基础上如何更加有效地提高视频编码效率。本课题在如下研究方向做出了贡献：.1. 提出了一个新的DCT域内JND模型。通过考虑视觉注意力效应和对比度掩蔽效应的共同作用，该模型在相同主观质量条件下同最新的DCT域JND模型相比，能够多容忍0.52dB的噪声。.2. 提出了一个像素域内基于层次选择性注意的JND模型。该模型在相同主观质量条件下同最新的像素域JND模型相比，能够多容忍0.84dB的噪声。.3. 提出了一个基于多层次选择注意机制及双目抑制效应的3D-JND模型。该模型在相同的立体主观质量条件下同最新的3D-JND模型相比，左视角和右视角可以分别多容忍0.35dB和2.1dB的噪声。.4. 提出了一个基于立体视觉注意力机制和结构相似度的3D绘制图像的客观质量评价模型。该模型和主观评测结果具有较高的相关度，能够对3D绘制图像进行有效的客观评测，从而避免了主观评测的繁琐过程。.5. 提出了一个基于DCT域JND的HEVC模式选择及变换过程中残差系数滤波方案。和HEVC相比，该方案在low delay和random access两种情况下可以分别节省10.31%和7.69%的编码码字。.6. 提出了一个基于像素域JND的HEVC码率控制方案。该方案在给定码率的情况下，不但可以减少帧之间的PSNR波动，还可以对帧内编码码字进行更加合理的分配，有效地改善了编码帧的主观质量。. 本课题按计划顺利进行，完成了预定的研究内容，取得了一些阶段性的研究成果。发表SCI/EI论文12篇；申请国家发明专利7项，其中已获得授权专利2项。