基于稀疏表示与深度学习的超分辨率方法的关键技术研究

Image super-resolution technology has become one of the most active research topics in the field of blind image restoration in the world as it is able to reconstruct high-resolution images from their corresponding low-resolution images and break through the inherent resolution limitations of existing imaging devices. Deep learning theory are incorporated into the super-resolution method based on sparse representation in this project. Firstly, a feature extraction method based on convolutional neural network and Squeeze-and-Excitation (SE) network is presented to obtain features that are more effective for dictionary representation. Secondly, an unsupervised dictionary training method based on adaptive sparse autoencoder is presented to obtain high-precision dictionary pair. Finally, a novel sparse coding model based on priori estimation using non-zero mean Laplacian Scale Mixture is presented to improve the accuracy of sparse representation coefficients and enhance details such as image edges and textures. The research of this project is expected to form a high-quality image super-resolution method to improve the resolution and definition of reconstructed images so that the research and development of super-resolution method are promoted.

图像超分辨率技术能够从低分辨率图像重建出对应的高分辨率图像，从而突破成像器件自身固有的分辨率限制，已成为国际上图像盲复原领域最为活跃的研究课题之一。本项目拟结合深度学习与稀疏表示方法深入研究超分辨率重建方法。首先，提出一种融合卷积神经网络和SE网络(Squeeze-and-Excitation Network)的特征提取方法，以获得对字典表示更加高效的特征。其次，提出一种基于自适应稀疏自动编码器的无监督字典训练方法，以获得高精度的字典。最后，提出一种基于非零均值拉普拉斯尺度混合先验估计的稀疏编码模型，以提高稀疏表示系数的精度并增强图像的边缘和纹理等细节。本项目的研究有望形成一种高质量的图像超分辨率重建方法，改善重建图像的分辨率和清晰度，推动超分辨率重建方法的研究与进展。

图像超分辨率能够从低分辨率图像重建出对应的高分辨率图像，已成为国际上图像复原领域最为活跃的研究课题之一。本项目结合深度学习与稀疏表示深入研究了超分辨率重建方法，其主要研究工作如下：.1）基于CNN-SE的特征提取方法。为了获得更具代表性的特征，研究了一种基于卷积神经网络(CNN)和SE网络(Squeeze-and-Excitation Network)的特征提取方法(SE-CNN)。在此基础上，研究了一种基于二阶注意力机制的小波级联网络超分辨率模型，以提升重建图像的质量。首先，利用小波变换的多分辨率分解特性，构建了一种新颖的小波级联网络。在小波级联网络中引入通道注意力机制，利用协方差矩阵归一化来增强通道间的特征相关性，设计了一种基于SE-CNN的鲁棒特征提取方法。然后，为了提高残差图像的表示能力，利用非局部自相似结构来进一步提高网络对全局信息整合的能力。.2）基于自适应SAE的无监督字典训练方法。为了提高字典对信号的表示精度，研究了一种基于自适应稀疏自动编码器(SAE)模型的无监督字典训练方法。在此基础上，研究了一种基于梯度引导的多尺度特征融合超分辨率方法，以提高模型的高频细节恢复能力。首先，设计了一种双分支结构的网络，包括主干分支与梯度分支，后者用于提取梯度特征图，并将其作为结构先验用于指导图像超分辨率过程。然后，采用相对熵来惩罚隐含层神经元的平均激活量，改进了SAE模型的隐含层结构，设计了一种基于自适应SAE的无监督字典训练方法。.3）基于准确图像先验估计的稀疏编码模型。为了利用图像先验知识指导图像重建以保留更丰富的边缘和纹理等细节，研究了一种基于图像先验的稀疏编码模型。在此基础上，研究了一种基于稀疏表示和小波变换的超分辨率算法，以增强重建图像的边缘纹理细节。首先，将小波变换的多尺度性、多方向性与稀疏表示的灵活性相结合，构建了一种基于图像先验的稀疏编码模型，提高稀疏系数的精度；然后，为了更好地保留图像的结构，在双稀疏编码模型中引入了局部线性嵌入正则化项。