基于稀疏表示理论的红外与可见光图像融合新方法研究

For the infrared and visible image fusion this project, in order to improve the practicability of the method in the practical application and to fuse the source images more accurately, more reasonably and more effectively, we perform research on the key technologies in fusion method of infrared and visible image based on sparse representation theory. The concrete contents include: 1) In order to explore the correlation of infrared and visible images in the same scene, this project aims at developing a new structured multiscale dictionary learning method more comprehensive, accurate analysis of the infrared and visible image to achieve more accurate and more comprehensive analysis on the infrared and visible images. 2) In order to improve the analyzability and practicality of the extracted features, this project proposes a new robust extraction method based on joint sparse with the common and innovation features, to get more reasonable and strong noise immunity features. 3) In order to develop a more efficiently fusion rule focusing on the practical application, a new fusion rule based on the interested innovation feature detection via non-negative sparse and the definition of the features priority is developed, to achieve non-weakened interested innovation feature and obtain clear, natural fusion result image. Project results can provide more reliable image data sources for security monitoring, military surveillance, meteorological and other military and civilian systems, moreover, play a very important role in the development and improvement of the sparse representation theory and the image fusion theory system.

本项目针对红外与可见光图像融合这一研究课题，为了提高方法在实际应用中的实用性，更加准确、合理、有效地融合源图像，本项目开展基于稀疏表示理论的红外与可见光图像融合中关键技术的研究。具体内容包括:1）为了发掘同一场景中红外与可见光图像存在相关性的特点，研究一种新的结构化多尺度过完备字典学习方法，以实现对红外与可见光图像更精确、更全面地分析；2）为了提高提取特征的可分析性与实用性，研究基于联合稀疏的共有与特有特征鲁棒性提取新方法，以获得更合理且噪声免疫力强的特征；3）为了开发面向实际应用的更有效融合规则，研究基于非负稀疏表示感兴趣特有特征检测以及定义特征优先级的融合规则，以达到非弱化感兴趣特有特征、获得清晰、自然融合结果图像的目的。项目研究成果将为今后开发更有效的安全监控、军事侦察、气象探测等军民系统提供关键技术支撑，同时可对稀疏表示理论以及图像融合理论体系的进一步发展与完善具有重要的促进作用。

稀疏表示理论通过字典基中少量原子的线性组合描述信号，揭示了图像信号的内在本质。为此,本项目基于稀疏表示理论进行了红外与可见光图像融合方法的专门研究，以获得更加全面丰富的融合结果，目前已取得的创新性研究成果包括：.1、针对传统基于稀疏表示的图像融合方法不能多尺度提取源图像信息，导致细节信息丢失的问题，提出了基于多尺度字典学习的图像融合方法。实现了在稀疏表示源图像的同时对其进行多尺度分析，达到了多尺度且稀疏地融合源图像信息的目的。实验表明，该方法较现有基于图像域字典学习的融合方法以及基于小波域多尺度分析的融合方法分别在显著特征以及图像细节处均具有更优的融合效果。.2、针对传统基于非下采样轮廓波变换NSCT融合方法中，图像低频子带系数不能稀疏地表示图像的低频信息不利于提取源图像特征，以及现有基于稀疏表示的图像融合方法由于受逐像素滑窗策略影响导致计算量较大的问题，提出了基于NSCT 与稀疏表示的图像融合方法，并且针对不同源图像的特点在此框架下分别研究了基于稀疏表示与联合稀疏表示的两种融合规则。实验表明，该方法有效提高了源图像低频子带系数的稀疏度，能更有效地提取源图像低频子带的显著特征。同时，通过在NSCT 低频子带非重叠窗口策略，大大提高了方法效率，较传统基于稀疏表示的融合方法耗时明显减少。.3、针对传统基于稀疏表示的图像融合方法中系数物理意义较弱，不利于分析图像特点的问题，提出了基于非负稀疏表示的红外与可见光图像融合方法。并且针对现有方法中采用单一评价系数活动水平作为融合规则的缺陷，提出了从系数活动水平与稀疏度两方面更加综合、全面分析源图像的特点，并进一步提出了提取红外图像中目标与特有轮廓区域以及可见光中纹理区域的方法。该方法可以面向具体应用，针对源图像中感兴趣的区域按照优先级与提出的区域一致性规则更有针对性地融合。与传统方法相比，在清晰与含噪情况下，均能获得更加清晰、自然且无弱化感兴趣特有特征的融合图像。