基于自然图像块学习的盲去噪技术的研究

Image blind denoising aims to restore the latent clean image from its degraded version when the noise model is completely unknown. Blind denoising is a typical inverse problem, and has proven to be an academically challenging task. It is widely used in military investigation, medical diagnosis and other fields. This project mainly studies image blind denoising by exploiting image external patch prior and internal self-similarity prior jointly. By learning the structure of clean patches from natural images, the collaboration between external and internal prior can effectively remove the noises, and make the restored images look more natural. Our work effectively uses generative adversarial network to model multiple subspaces from natural image patches. The obtained structure of subspaces can be exploited as an external prior to combine internal non-local Bayesian posterior estimation, which provides an effective model and algorithm for image blind restoration. Moreover, the established model can be employed in different test datasets, and the major research issues will be conducted including the representation of natural image patches, external patch prior guided internal restoration, discriminative learning based iterative parameter estimation and denoising quality assessment. This study will provide new ideas and approaches for blind denoising based on natural image modeling.

图像盲去噪是指在噪声模型完全未知的情况下，对退化图像进行处理，尽可能恢复出原始图像。盲去噪是一个典型的反问题，学术上富有挑战性，在军事侦查、医学诊断等领域具有广泛的用途。本项目主要研究和建立关于图像外部块先验和内部自相似性相结合的图像盲去噪方法。该方法通过学习外部大量的清晰自然图像块，去除低质量图像中的噪声，使复原后的图像更加真实自然。主要研究利用生成对抗网络捕捉自然图像块的多个子空间结构，并提炼为外部块先验信息，与内部非局部贝叶斯估计有机结合，为解决图像盲复原提供有效的模型和算法。同时构建不同测试数据集，分析研究自然图像块的表达、外部块先验辅助内部复原、基于判别学习的迭代参数估计和去噪性能评价等关键问题。此研究将为基于自然图像建模的盲去噪提供新的思路和途径。

图像盲去噪是一个典型的反问题，在军事侦查、医学诊断等领域具有广泛的用途。本项目研究外部自然图像块先验和内部自相似性相结合的图像盲复原技术。主要内容包括：.（1）自然图像块的学习与表示。针对自然图像块复杂的结构特征和块组特征，提出了基于深度神经网络的生成式与判别式的图像块聚类算法、基于距离度量的相似块组学习与表示法、基于行图/列图/梯度图网络的图像块表示。这些自然图像块的学习与表示，可以在结构、纹理、梯度、协方差等局部与非局部上刻画可解释性特征，为真实图像盲复原的提供重要先验信息。.（2）基于生成对抗网络的图像盲去噪。针对图像退化过程未知，结合自然图像块的学习与表示，研究基于图像信号的建模，提出基于生成对抗网络、多残差网络、自编码网络、自注意力机制等真实图像盲去噪算法。由于结合了外部自然图像块的先验信息，提出的模型不完全依赖于训练数据集和测试图像，具有更强的泛化性。相比基于噪声模型的盲复原方法，基于图像信号先验的图像复原，受不同噪声的影响较小，更加鲁棒。.（3）基于参数估计的盲去噪优化。由于噪声分布不均，相关参数较依赖于数据集，采用直接法一步滤波很难得到满意结果，提出基于ADMM卷积稀疏编码的图像去噪、基于即插即用框架的图像复原、基于信号依赖的梯度图拉普拉斯正则的图像复原等。通过迭代参数的估计和调整，提出自适应迭代策略解决噪声分布不均问题；同时结合信号方差与噪声方差估计，提出最小化均方误差的正则参数估计方法，减少模型涉及的参数。.（4）测试数据库和盲去噪性能评价。项目组先后收集无人机拍摄的图像近5万张和200多个无人机拍摄的视频片段。收集了福建协和医院的100多个腔镜医学影像和3万张标注过的腔镜甲状腺手术医学图像。除了常规的图像去噪性能评价以外，研究结合协方差矩阵，深度神经网络以及实际应用驱动的图像盲去噪评价方法。.本项目较全面的研究了基于外部自然图像块学习的图像盲去噪技术，对于研究真实噪声环境下图像分割、配准与拼接、目标检测与跟踪等健壮性应用提供新的思路和途径。