结合超分辨率重建的图像及视频新型压缩编码技术研究

With the popularity of high definition (HD) video and image in daily life and each field, how to improve the coding performance to a great extent has became a problem which needs to be faced constantly, meanwhile, it is also full of challenge in both theory and technology. At present, a better compressive effect derived from combining the super resolution (SR) reconstruction techniques with the traditional method of image coding, is one of the advanced research fields. Domestic research on this aspect is still in the exploration stage. This project is planned to have a deep research on it.The main works of this project:I. A new frame of image compression encoding reconstructed by integrated SR is proposed to lower the encoding rate greatly in the premise of achieving the same and objective quality of coding image. The feedback step is introduced at the same time to improve the rate-distortion performance of the frame. II. Based on the characteristics of coding frame, a specific algorithm of SR reconstruction of image is proposed to optimize the overall coding performance. III. By making full use of the advantages of the original images at the coding end, an extract method of mapping relation between the high and low resolution images which based on presorting has been proposed and it helps to improve the image quality of SR reconstruction. VI. An optimization algorithm of the hierarchy of coding frame and the quality control parameters is proposed to improve the practicability of coding frame and lay a good foundation for the application. V. The development of research on SR and image compression and their combination shall be promoted.

随着高清视频及图像在日常生活和各个领域中的普及，如何进一步大幅度提高编码性能成了一个需要不断面临的问题，这同时在理论和技术上充满挑战。目前，把超分辨率重建技术和传统图像编码方法结合起来，以得到更好的压缩效果是前沿研究领域之一，国内外在这方面的研究还处于探索阶段，本项目拟对此进行深入地研究。 主要工作：1.提出一种集成超分辨率重建的图像压缩编码新型框架，实现在同等主、客观编码图像质量前提下，大幅度降低编码码率。同时引入反馈环节，以提升框架的率失真性能。2.基于编码框架的特点，提出针对性的图像超分辨率重建算法，以优化整体的编码性能。3.充分利用编码端有原图的优势，提出基于预分类的高低分辨率图像间映射关系的提取方法，提高超分辨率重建后的图像质量。4.提出编码框架分级结构化及质量控制参数优化算法，以提高编码框架的实用性，为应用打下良好的基础。5.推进超分辨率和图像压缩及其相结合的研究工作的发展。

高清图像/视频的高效压缩在数据传输及存储中具有不断增长的需求和广阔的应用前景。经过多年的发展，在主流图像/视频编码技术基础上获得进一步的提升已面临较大的挑战，探索新的压缩编码思路具有较大的意义。.本项目结合图像/视频处理领域中的相关新理论、新技术，研究了新型的压缩编码框架，以在高质量解码、复杂度可控的情况下，有效提升图像/视频的压缩率。其基本思想是：在编码之前，对图像/视频进行针对性的下采样；在解码之后，结合超分辨率重建算法恢复图像/视频的分辨率。本项目的研究工作主要包括：(1)研究了结合超分辨率技术和不同图像/视频编码标准的新型压缩编码框架，提出了基于稀疏表示、空/频/时域采样、残差处理等技术的多种编码算法，与所参考的编码标准对比，性能得到了提升，尤其是在中低码率段效果较为明显；(2)研究了新型图像/视频编码框架中的下采样环节，提出了空域自适应多模式采样、DCT/DWT域采样、时域采样等多种方法，在有效降低图像/视频分辨率的同时尽可能地保留有效的信息；(3)研究了新型图像/视频编码框架中的超分辨率重建环节，提出了基于非局部相似性、低秩、邻域回归、深度卷积神经网络等模型的图像/视频超分辨率算法，从低分辨率图像/视频中较好地重构了原始高分辨率图像/视频；(4)针对现有不同图像/视频编码标准，进行了改进和优化。如JPEG/JPEG2000压缩图像后处理算法、H.264/AVC到HEVC的快速转码算法、基于视频内容的复杂度控制算法及码率控制算法等。这些工作有效地提升了编码性能，并促进了所提新型压缩框架的进一步完善。.本项目完成了研究计划中的各项内容并有新的拓展，取得了一系列的研究成果。相关成果能够为图像/视频压缩编码及图像复原等技术的发展提供新的思路和参考。本项目已发表SCI期刊论文21篇，EI期刊论文3篇，国际会议论文12篇，核心期刊论文11篇。申请国家发明专利25项，其中已授权2项。