基于3维多尺度复变换的多传感器视频图像融合及性能客观评价研究

研究视频图像融合及性能客观评价：（1）研究基于3 维多尺度复变换及统计分布模型的视频图像融合：采用3 维均匀离散Curvelet 变换、双数复小波变换等多尺度复变换提取视频图像中空间-时间特征，并根据复变换幅值和相位联合信息、系数统计分布模型以及输入视频图像之间冗余和互补信息制定融合规则，使得融合算法在空间-时间信息提取及一致性方面均具有较高融合性能，并能应用于低信噪比视频图像融合；（2）结合人眼视觉感知特性，在空间-时间域及复变换域中，分别研究基于结构相似度和基于3 维Log-Gabor 变换的视频图像融合性能客观评价：根据输入视频图像之间、融合视频图像与输入视频图像之间结构相似度、空间-时间相位一致性及Log-Gabor 变换幅值等信息差异综合评价各融合算法在空间-时间信息提取及一致性方面融合性能。本项目可望进一步丰富和发展多传感器图像融合理论，为多传感器图像融合技术实用化奠定基础。

本项目围绕着预定的研究内容展开研究，完成了相应的研究目标。首先，我们研究了基于3维多尺度变换的视频图像融合：提出了一种基于3D Surfacelet变换的视频图像融合框架，相对于传统的基于单帧处理的视频图像融合算法，所提出的融合算法利用3D Surfacelet变换将多帧输入视频图像看作一种特殊的3维信号进行整体分析和融合，在时空信息提取及一致性方面均具有较高的融合性能；提出了一种基于时空显著性检测和3D均匀离散Curvelet变换（3D-UDCT)的视频图像融合算法，相对于基于时空能量“取大”或“匹配”的融合算法，所提出的融合算法根据视频图像自身特点，采用时空显著性检测算法将输入视频图像划分为不同类型区域后，再针对各类型区域的特点制定相应的融合策略，进一步提高了融合算法的性能；提出了一种基于高阶奇异值分解（HOSVD)的视频图像融合算法，该算法利用HOSVD捕捉视频图像各帧之间的强相关特性，将输入视频图像中的背景图像信息和时间运动目标信息分离后，再针对一帧背景图像和多帧含有少量运动目标的区域分别进行融合，从而大大降低了运算复杂度，并且经过简单的扩展，还能用于噪声环境下视频图像的融合。其次，我们研究了视频图像融合性能客观评价：在时空域，提出一种基于人眼视觉系统感知特性和结构相似度测量的视频融合性能评价因子；在Log-Gabor变换域中，提出一种基于相位一致性的视频图像融合性能评价因子；所设计的性能评价因子，能够从时空信息提取及一致性两个方面综合评价各融合算法的性能，评价结果更加符合人眼主观评价结果。最后，我们还研究了静态图像融合与配准：提出了一种基于相似度测量的多模态图像融合算法，并根据复方向塔式变换（SCDPT）的幅值和相位联合信息制定了相似度测量准则，很好地处理了多模态图像之间的“冗余”和“互补”信息；提出了一种基于区域检测与点检测相结合的仿射变换图像配准算法，算法利用了区域检测的仿射不变特性和点检测的高精度特性，很好地解决了仿射变换图像之间的配准，并具有较高的计算效率。