离焦图像序列非相干观测信息挖掘与超分辨率重建技术研究

Super-resolution reconstruction (SRR) is an effective method to deal with the low resolution (LR) of image details in specific application scenarios. Existing SRR algorithms focus on the focused image. the details contained in the defocused images generated during the focusing process are ignored. The defocused images are also effective observation to scenes, which reflect the allocation and accumulation of the scene information spreading among the detector pixels. Aiming at this problem, the research of incoherent information exploration and SRR will be conducted in this project. Based on the optical lens model and imaging theory of the detector, the information transferring mechanism of the defocused image and the coherence of scene observation are investigated, and, the constraints and limits of SRR will be explored. Based on the theory of multi-objective optimization, the image degradation model and matching method of the transform among the image frames will be studied, then, the point spread function (PSF) of the defocused images can be estimated. Based on the compressed sensing theory, the sparse representation method will be studied under the constraints of the observation matrix which is determined by the blurred matrix and the down-sample model. After that, the stable sparse signal reconstruction algorithm will be proposed to recover the high resolution (HR) image. The HR images observed under noise environment are jointly fused to real HR images. The better visual effect can be achieved. Meanwhile, the understanding and recognition performance will be improved.

超分辨率重建是解决特定应用场景中图像细节分辨能力不足的有效手段。现有超分辨率算法重点关注聚焦良好图像，忽略了成像系统在调焦过程中产生的离焦图像蕴含的细节信息。离焦图像反应了场景信息在探测器不同像元间的分配与叠加，也是对场景的有效观测。项目针对这一现状，对离焦图像序列的非相干信息挖掘和超分辨率重建技术展开研究。以光学镜头模型和探测器成像理论为基础，通过研究离焦图像的信息转移机理及对场景观测的相干性问题探索图像超分辨率重建的约束条件和理论极限；以多目标优化理论为基础，通过研究图像退化模型和帧间微变换匹配问题实现离焦图像序列的点扩散函数估计；以压缩感知理论为基础，研究在由模糊矩阵和下采样模型决定的观测矩阵约束条件下图像的稀疏表示问题，提出稳定的稀疏信号重构算法恢复高分辨率图像；研究噪声环境下观测信号的联合估计方法实现图像融合，逼近真实的高分辨率图像，改善视觉效果，提高图像目标的理解和识别性能。

超分辨率重建（SR）一直是图像处理和模式识别领域一个活跃的研究方向。经过多年的发展，涌现了很多有效的超分辨率重建算法，对低分辨率（LR）图像质量的改善具有明显效果。但是，为满足各种应用需求，对图像质量的要求也只有更好，没有最好，超分辨率重建依然是图像处理方向的一个热点问题。近年来，SR方面的重要成果大多引入了深度神经网络，通过AI算法明显改善了LR图像在放大时的视觉效果，使其拥有了更多纹理细节，显得更为清晰。但是，一个共同的特点是，这些细节来源于样本学习，也就是依据训练库建立的低分辨率图到高分辨率图的映射关系。因此，当一张图片在做超分辨率重建时，其细节是依据“经验”获得的，可能出现看似清晰但不真实，也就是“伪细节”问题。.本项目通过挖掘离焦模糊图像的特征，获得更多有效的场景信息，利用多帧观测图像的互补信息突破原有的分辨率限制，获得高分辨率图像，同时保持细节的真实性。离焦模糊图像的点扩散原理使得场景信息在像素间进行了新的分布，形成了新的观测，因而为信息挖掘和超分辨率重建创造了条件。项目团队根据研究思路和技术路线，对相关的理论基础、实现方法、算法与模型、应用环境展开研究，具体包括：光学成像系统中，离焦图像的成像模型；高低分辨率图像点扩散函数的传递关系；高分辨率图像点扩散函数的描述模型及估计方法；基于压缩感知理论的图像超分辨率重构算法。此外，还研究了利用深度卷积神经网络提取离焦图像特征的方法以及基于深度学习的图像融合和上采样方法。.通过本项目的研究，夯实了通过离焦图像序列进行超分辨率重建的理论基础，对其涉及的关键问题提出了解决思路，建立了点扩散函数估计及SR重建算法的数学模型，构建了电动调焦及离焦图像捕获的实验环境，对相应的算法进行了仿真与实验验证，为本项目的深入研究应用推广奠定了基础。