结合噪声特性的压缩图像/视频后处理与超分辨率重建技术研究

At present, HD(High definition) images and videos are widely used in various fields. Due to large amount of data, they are generally stored or transmitted in a compressed form. How to deal with the post-processing and super-resolution reconstruction of the compressed image & video in order to effectively improve its quality is full of challenges both in theory and in technology, and it is also one of the important research directions in the field of image processing. The research in this area at home and abroad needs to be further strengthened. The project intends to carry out in-depth research on this issue.. The main work is as follows: (1) Deeply analyze the generation mechanism of image and video compression noise, study its characteristics, and construct effective compression noise model for different compression standards or methods. (2) Fully combining the characteristics of compressed noise and priori information of images, deal with the compressed images and videos by employing effective post-processing. (3) Based on the work of compression noise modeling and post-processing, some novel and high-performance algorithms will be proposed, and the reduction of compression effect and super-resolution reconstruction are combined tightly, so that breakthrough can be achieved.. The research work will create good conditions for the intelligent analysis of big data of images and videos and the ever-increasing applications in various fields. It will also provide new theoretical and technical support for the further development of image and video compression technologies.

目前高清图像及视频在各个领域中广泛应用，由于数据量大，通常都是以压缩的形式存储或传输。如何针对性地对压缩后的图像/视频进行后处理与超分辨率重建，以有效地提升其质量与分辨率，这在理论和技术上都充满挑战，也是图像处理领域里重要的研究方向之一。国内外在这方面的研究还有待加强，本项目拟对此开展深入的研究。. 主要工作为：（1）深入分析图像和视频压缩噪声的产生机理和特性，针对不同的压缩标准或方法构建有效的压缩噪声模型。（2）充分结合压缩噪声特性与图像先验信息，对压缩后的图像及视频进行有效的后处理。（3）在压缩噪声建模与后处理工作基础上，提出新的超分辨率重建算法思想，并将后处理与之有机融合，使重建质量及分辨率得到明显的提高。. 研究工作的开展，将为图像与视频大数据智能化分析以及满足不断增长的应用需求创造良好条件。同时也可为图像及视频压缩技术的进一步发展，提供新的思想方法和技术参考。

随着数字技术的发展与普及，目前绝大多数的图像和视频是以压缩后的码流或文件进行传输和存储的，由于有损压缩的特性，这些图像/视频中广泛存在压缩效应，不同程度地影响人类视觉感知以及后续的智能分析任务。因此深入开展针对压缩图像/视频的后处理与超分辨率重建的工作，具有迫切的技术需求和广阔的应用前景。.本项目深入分析压缩图像及视频的编码过程，充分考虑压缩噪声产生的机理，结合图像/视频处理领域中的相关新理论、新技术，主要针对压缩图像/视频的后处理与压缩图像/视频的超分辨率重建这两个问题进行研究，并将两者进行有机的融合，以实现两者之间相互约束、相互提升的目的。本项目的研究工作主要包括：（1）研究了图像与视频压缩噪声建模与估计方法，提出了基于卷积神经网络、结合空时域信息、基于离散余弦变换（DCT）等技术的压缩噪声估计方法，以准确估计压缩图像/视频的噪声水平；（2）研究了不同图像先验信息的特性，结合压缩噪声模型，提出了联合先验模型和细节增强、基于DCT系数预测、结合量化参数估计、基于深度卷积神经网络等模型的压缩图像/视频后处理算法，有效提升了压缩图像/视频的质量；（3）研究了压缩图像/视频后处理任务和超分辨率重建任务的相关性，充分结合两者的特点，在压缩噪声模型和图像先验的基础上，提出了针对压缩图像/视频的超分辨率重建算法，以提升压缩图像/视频主客观质量与分辨率；（4）对现有的图像/视频编码标准进行了改进，提出了基于高效视频编码标准（HEVC）和多功能视频编码标准（VVC）的帧内预测、帧间预测、码率控制和快速算法等优化算法，并在前述研究工作的基础上提出了结合超分辨率重建和压缩噪声抑制的新型压缩编码框架，有效地提升了编码性能。.本项目完成了研究计划中的各项内容并有新的拓展，取得了一系列的研究成果。相关成果能够为图像/视频压缩编码及图像复原等技术的发展提供新的思路和参考。本项目已发表论文33篇，其中SCI期刊论文21篇，国际会议论文2篇，中文核心期刊10篇。已申请国家发明专利30项，其中已经授权11项。