面向视觉质量优化的深度学习视频编码

Due to the popularity of high-resolution videos in many applications, it is still an urgent requirement to further increase the compression efficiency of video coding. The visual redundancy inherent in natural videos can be exploited to improve compression efficiency, but traditionally, the coding methods are manually designed according to the signal processing theory, and have difficulty in removing the visual redundancy effectively. This project proposes to target at visual quality optimization and to adopt deep learning in replacement of the manual design, to search for better coding methods in a even bigger solution space. The research content of this project has three aspects. 1) Deep network-driven assessment of visual quality of videos; 2) Deep auto-encoder based transform-quantization method; and 3) Spatio-temporal fused deep learned video post-processing method. This project expects to develop deep learning based video coding methods as well as some key techniques, to improve the compression efficiency by 10-15% upon HEVC especially for ultra-high-definition (UHD) videos. The investigated visual quality oriented video coding has theoretical significance, and the developed coding techniques have great potential in applications.

由于高分辨率视频应用的普及，进一步提高视频编码压缩效率仍是迫切需求。挖掘视觉冗余是提高压缩效率的有效途径，而传统的、基于信号处理理论人工设计的编码方法难以有效去除视觉冗余。本项目提出面向视觉质量优化，采用深度学习替代传统人工设计，在更大的解空间中搜索更优的编码方法。项目研究内容包括三方面：1）深度网络驱动的视频视觉质量评价，2）基于深度自编码器的变换量化方法，3）融合时空信息的深度学习视频后处理方法。项目预期成果是：发展深度学习视频编码方法，形成若干视频编码关键技术，将视频特别是超高清视频的压缩效率在HEVC的基础上再提高10-15%。项目研究的视觉质量优化视频编码具有重要的理论意义，所形成的编码技术有较大应用潜力。

由于高分辨率视频应用的普及，进一步提高视频编码压缩效率仍是迫切需求。挖掘视觉冗余是提高压缩效率的有效途径，而传统的、基于信号处理理论人工设计的编码方法难以有效去除视觉冗余。本项目提出面向视觉质量优化，采用深度学习替代传统人工设计，在更大的解空间中搜索更优的视频编码方法。.项目提出了一系列深度学习视频编码方法，包括基于深度自编码器的变换编码方法、基于卷积神经网络和编码单元分类的环内滤波方法、对偶学习的自适应变分辨率编码方法、孪生网络学习的亚像素插值帧间预测编码方法、基于混合网络的分量间预测编码方法等；开展了深度学习编码的理论研究，初步形成了信号/感知失真和语义失准的协同优化理论；在基于深度网络的视频编码核心技术的基础上，开发了深度学习图像和视频编码原型系统，将图像的压缩效率在HEVC的基础上提高了17%，视频的压缩效率在HEVC的基础上提高了40%以上。.发表及已接收期刊论文28篇、发表会议论文26篇，其中在TPAMI、TIP、TCSVT、TMM等IEEE汇刊和NeurIPS、CVPR等CCF A类会议上的论文28篇。申请发明专利9项，其中3项已获授权。项目负责人刘东获得优秀青年科学基金项目资助。向国际国内标准组织提交4项技术提案，在面向H.266的国际标准评测中名列前茅，2项关键技术进入国内标准。