基于视觉感知的屏幕视频质量评价及编码优化策略研究

Screen content video plays an important role in many application scenarios, including online education, cloud computing, gaming, etc. Therefore, it becomes an emerging and hot video technological research topic with both theoretical and practical values in the worldwide research. This proposal aims to study the perceptual-oriented quality assessment and coding optimization strategy for screen content video. First, based on the characteristics of the human visual system and the screen video, a novel screen video quality assessment method by fusing the spatial edge and temporal optical flow information is proposed to more accurately depict the human perception on the screen video. Second, a large scale screen video quality assessment database is constructed and made public available for more comprehensively analyzing the screen video perceptual features. Third, by considering the perceptual characteristics of the input screen video, a perceptual-oriented rate distortion optimization model for HEVC-SCC is presented to effectively improve its perceptual coding efficiency. Forth, by using the proposed perceptual rate distortion optimization model as the criterion, the relationship between the screen video and coding parameters is analyzed through a perceptual data-driven method, and then fast coding strategies are presented to effectively speed up the HEVC-SCC mode decision process without losing the perceptual coding efficiency. In summary, this proposal is expected to promote the development and application of the screen video technologies.

屏幕视频涉及在线教育、云计算、游戏等众多领域，是当前国内外视频技术领域兼具理论和实际应用价值的新兴研究热点。本项目拟从人眼视觉感知的角度研究屏幕视频质量评价及编码优化策略。首先根据人眼视觉特性及屏幕视频特点，提出基于空域边缘和时域光流信息融合的屏幕视频质量评价方法，以更准确反映人眼对于屏幕视频的主观感知；其次构建一个开放共享的大规模屏幕视频质量评价数据库，以作为分析屏幕视频感知特征的重要依据；接着深入分析人眼视觉对不同屏幕视频特征的失真容忍度，提出基于视觉感知的HEVC-SCC率失真优化模型，以有效提高屏幕视频感知编码效率；最后在基于视觉感知的率失真准则下，通过感知数据驱动的方法深入分析屏幕视频内容与编码参数的关系模型，设计HEVC-SCC快速编码策略，在保证感知编码效率的前提下有效地加速HEVC-SCC模式选择过程。项目研究成果有望促进屏幕视频技术的发展与应用。

屏幕视频涉及在线教育、云计算、游戏等众多领域，是当前国内外视频技术领域兼具理论和实际应用价值的新兴研究热点。本项目从人眼视觉感知的角度系统研究屏幕视频质量评价及编码优化策略，在屏幕视频质量评价数据库、视觉质量评价模型和视频编码优化等方面取得了一系列进展：(1)深入分析屏幕视频特点以及其在各个视频处理阶段可能产生的失真类型，构建首个大规模屏幕视频质量评价数据库(SCVD)，为分析人类视觉系统对于屏幕视频主观感知提供重要依据，通过开放共享促进基于视觉感知的屏幕视频技术研究工作的发展；(2)充分考虑人眼视觉特性和屏幕视频特征，提出系列屏幕视频质量评价模型，包括首个屏幕视频质量评价方法—时空Gabor特征张量模型等，准确反映人眼视觉对屏幕视频的主观感知，可广泛应用于各种屏幕视频处理系统以评价及优化其性能；(3)从提高感知编码效率和降低计算复杂度两个方面出发，提出屏幕视频码率控制和屏幕视频快速编码等系列算法，根据屏幕视频内容复杂度和感知敏感度等进行差异化编码，优化码率资源和计算资源，实现了具有高感知编码效率、低计算复杂度的屏幕视频编码方案。本项目研究成果为推动基于视觉感知的屏幕视频技术发展提供一定的理论依据和技术支持，有望在数字电视、视频监控、智慧办公、在线教育等领域得到实际应用。