基于内容感知的可重构视频编码方法研究

可重构视频编码（RVC）是视频编码领域的新方向。RVC可灵活调整编解码算法进行视频编码，这种编解码方式比传统编码方式具有更多的优势，使RVC有更广阔的应用前景。与传统编码方式一样，编码性能和复杂度也是RVC最值得关注的问题。本课题在传统编码率-失真（R-D）、率-失真-复杂度（R-D-C）和HVS感知理论研究基础上，针对RVC编解码工具可重构出不同编码器的特点，研究不同编码工具组合的率-失真和率失真-行为，并结合视频内容的主观感知，建立基于主观感知的RVC通用R-D和R-D-C模型。研究编解码工具复杂度特征，用计算-存储复杂度定量评估工具复杂度。研究HVS对视频内容的容忍度，保持主观失真不变的同时，降低编码器重构的复杂度。利用HVS对视频内容复杂度的感知，合理分配有限的编码资源，实现基于内容感知的高性能低复杂度的RVC编码。该研究将为RVC在各种高性能、低复杂度平台上的应用提供理论支持。

本项目在深入研究视频可重构编码基本理论基础上，对可重构视频编码的框架，工具集，编码性能，编码复杂度，基于人眼视觉的视频显著性检测及基于视觉显著性检测的视频质量评价几方面内容进行了深入研究。以AVS视频标准作为可重构视频编码的研究对象，在基于国际标准MPEG的可重构视频编码框架下，定义出AVS1.0标准的解码工具集，使用该工具集进行解码器重构，具有更大的灵活性，更低的重构复杂度，同时与其它主流的国际标准具有很好的兼容性，能够最大程度的进行资源复用，在一个统一的可重构框架下，降低了多个标准的解码工具集的实现复杂度。我们定义的AVS1.0标准解码工具集，通过了AVS国家标准组织的一致性测试，作为AVS标准的第13部分，申请国家标准，现已进入报批阶段。编码性能是可重构编码研究的重要部分，而率失真编码是决定可重构编码性能的重要技术，同时视频质量的准确评价也对编码性能有很大影响。传统的视频质量评价方法采用的是峰值信噪比方法，为了更准确的评价人眼视觉对视频的感知结果，我们首先研究了视频视觉显著性检测，提出了基于空时域相关的视频视觉显著性检测方法，在此基础上，我们又提出了基于视觉显著性检测的视频质量评价方法，可以准确评价符合人眼视觉感知的视频质量。在新的视频质量评价尺度下，对率失真编码模型进行针对性的调整，优化模型参数，建立基于视觉感知的可重构率失真编码模型，可显著提高编码性能。复杂度是可重构视频编码的另一个关键问题，模式决策，参考帧选择都是视频编码复杂度较高的算法，因此我们研究了快速模式决策和快速参考帧选择方法，提出了基于背景建模的快速模式决策和参考帧选择方法，该方法对编码单元的类型分类，用提出的分类方法，将编码单元分成前景，背景和混合三种类型，分别对三种不同类型的编码单元选用不同的模式和不同的参考帧进行预测和编码，显著降低了编码复杂度。总之本项目的研究工作，对可重构视频编码技术以及相关的视频编码技术的研究发展都有一定的推动作用，为后续的更深入研究打下了基础。在本项目的资助下，我们已经发表了两篇SCI检索的国际期刊，7篇EI检索的国际会议，申请了3篇中国专利，达到了项目的预期成果要求。另外，由于文章撰写的滞后性和审稿周期等因素，另有多篇本项目资助的国际期刊和国际会议在投和正在撰写之中。