基于非局部相似性和三维块匹配的剪切波域图像融合算法研究

Different sensors are limited by their own condition during image collection, so the whole information of the observed scene can not be obtained, which seriously restricts the development of target identification and tracking, intelligent monitoring, military applications and other fields. In order to get a comprehensive assessment of the scene, image fusion has become a hot topic in recent research. This project makes deeply research on the key point of image fusion in Shearlet transform domain. The non-local similarity of the image is used to implement the image fusion. The main research contents include: (1) Research on general Shearlet domain fusion framework and fusion rules in different frequency bands. (2) Research on non-local similarity of the image obtained by different sensors, choose the fusion area by non-local similarity of the image in Shearlet domain and take suitable fusion rule to get the fusion result. (3) Research on the three-dimensional block matching image denoising algorithm and apply the non-local similarity block matching and federated filtering into Shearlet domain fusion, in order to propose fusion algorithm based on three-dimensional block matching in Shearlet domain and its fast algorithm.

受到自身条件的限制，不同传感器在进行图像采集时不能获得所观测场景的全部信息，从而严重的制约了目标识别与跟踪、智能监控、军事应用等领域关键技术的突破。为了更全面的评估所面对的场景，图像融合成为近期研究的一个热点问题。本课题在深入地研究了剪切波变换域的图像融合关键技术基础上，利用图像非局部相似性进行图像融合，其主要研究内容包括：(1)研究一般的剪切波变换域融合框架，研究不同频带所使用的融合规则；(2)研究不同传感器采集图像的非局部相似性，在剪切波域中利用非局部相似性自适应地选择融合区域，采取适合的融合规则进行融合；(3)研究三维块匹配去噪算法，将非局部相似性块匹配和联合滤波的思想应用到剪切波域融合中，提出基于三维块匹配的剪切波变换域融合算法，并提出其快速算法。

本课题主要专注于图像的低水平集处理，其中主要包括图像融合和图像图像去噪。由于像素级融合是直接对传感器采集的数据进行处理而获得融合图像的过程，是目前图像融合研究的重点之一。本课题研究主要集中在像素级的图像融合算法上，主要包括基于空域的图像融合算法和基于变换域的图像融合算法。除此之外，由于图像去噪是图像处理研究的一个重要分支，如何有效去除噪声是图像处理的关键技术之一，它严重制约着后续图像处理的发展，尤其是对图像融合效果具有严重的影响，因此具有重要的研究价值。.该项目利用图像的非局部自相似性，将BM3D思想推广到图像融合中，提出基于块匹配和三维多尺度变换的融合框架，将图像划分为不同的块，根据相似度将图像块划分为三维数组；利用三维变换将阵列转换为变换系数进行融合。提出了基于稀疏表示的图像融合方法，利用联合字典和最优理论对图像进行融合，具有较好的视觉效果和客观评价指标。本课题还针对不同成像方式形成的不同种类的图像，提出了不同的非局部自相似块的估计方法，如利用非局部相似块匹配方法得到不同的相似块组，然后对相似块组进行自适应K-SVD字典训练与稀疏表示去噪；利用灰度相关理论进行局部块匹配，从而得到参考子块的相似块的集合来构建出近似低秩的矩阵。.总体来说，本项目组主要在医学图像融合、多聚焦图像融合、SAR图像去噪、DTI图像去噪等领域展开了一些研究工作，并在多尺度变换、块匹配、稀疏表示和低秩理论的应用方面进行了创新。项目资助课题组成员发表论文50余篇，其中SCI检索论文19篇，EI检索论文2篇，EI、ISTP检索国际会议论文11篇，申请了2项国家发明专利。