基于主观质量评价模型的屏幕视频高效编码研究

High resolution screen videos have attracted increasing attention. It will be widely used in the cloud game, the remote desktop and the remote computing platform. Recently, the Joint Collaborative Team on Video coding (JCT-VC) develops the test model of the screen content coding (SCM) as the extension of HEVC. Since the large difference of content feature between the screen video and the nature video captured by the camera, it needs new coding tools except the framework of the traditional codec to improve coding efficiency of screen video. As we know that the computational complexity of HEVC is already great heavy, SCM further increases the computational complexity due to adopt the high complexity tools such as the palette mode search and the intra matching block search. The heavy computational complexity limits its cloud application. We will build the subject quality assessment model for screen videos and adopt the model in the rate-distortion optimization procedure of SCC codec to improve coding efficiency and reduce the computation resource for SCC. The project focus on the high efficient bit-rate allocation, the intra matching block search, the content based palette mode and the new quad-tree prediction structure for SCC. The SCC coding tools and the prediction structure of HEVC will be jointly optimized to improve coding performance. The finally target of this project is to get a low complexity and low bitrate screen video coding algorithm to be used in the cloud application.

屏幕内容视频目前成为国际前沿热点之一，JCT-VC正以HEVC为基础扩展制定针对屏幕内容编码(SCC)的标准。但是屏幕内容图像和摄像机摄的自然图像差异很大。因此，除了传统的工具外，要提高SCC编码效率需发展新理论和技术。再者，JCT屏幕视频编码方案是在本来就相当复杂的HEVC框架上扩展，又引入如帧内预测块搜索和基于调色板的率失真编码等，使其复杂度高到很难在云环境中使用。现有的HEVC高效优化算法主要针对自然图像并没有考虑到屏幕视频特征。如何在低码率下使屏幕视频在远程云终端上高质量地实时显示，已成为当务之急。本申请项目正是以降低比特/运算资源为目标，在提出构建屏幕视频主观质量评价模型和依据此模型的新的率失真优化模型的基础上，通过屏幕视频编码高效比特资源分配、面向屏幕视频的预测结构和SCC高效工具与HEVC预测结构联合优化等研究，以大幅提高SCC感知编码效率，为SCC面向云环境应用建立基础。

本项目主以屏幕视频高效编码为目标，探索高效率和低复杂度的编码优化算法，获得主要成果如下：1）基于噪声屏幕图像分割与混合区域特征融合，提出无参考屏幕图像质量评价模型，为高效率和低复杂度编码算法优化提供理论依据；2）提出基于屏幕内容视频内容的R-λ优化模型和基于屏幕内容特性的比特分配算法，BDPSNR提高达0.8dB-1.5dB；3) 提出“四叉树+多类型树”自适应递归预测结构及基于置信度的快速模式决策方法，可节省63％的编码时间。4）针对MPEG的建议，提出数据驱动型高效视频编码算法，为进一步提高面向顶层机器任务（分类和识别）的准确率，提出测量感知特征-率失真联合约束视频压缩架构。研究成果发表在IEEE Trans. IP, IEEE Trans. CSVT, IEEE Trans. MM, IEEE SPL等，被包括IEEE SPS学会主席W. Siu，加拿大院士P. Nasiopoulos等在内的多位院士及IEEE Fellow批量引用，认为其建立了“优秀模型”实现高效预测。在项目执行期间，表论文31篇，其中国际期刊论文28 篇，包括IEEE/ACM 核心刊物及二区论文19 篇。申请发明专利9项，其中已授权的发明专利5项。研究成果被SCI他引102次、Scopus引用178次以及Google Scholar引用256次，入选ESI高被引论文1篇，相继获得国家科技进步二等奖、上海市科技进步一等奖以及中国电子学会二等奖，1名硕士研究生获得上海市图形图像学会优秀硕士论文（关于屏幕视频质量评价）。