视觉注意机制下基于机载异源图像融合的突发事件中生命探测方法研究

The life detection based on airborne heterogeneous image fusion is a advanced topic in the field of emergencies emergency rescue. The difficulty lies in the fact that the heterogeneity image fusion under the condition of unreliable sources has the problems of low detection accuracy and low robustness. For this reason, under the visual attention mechanism, this project proposes a heterogeneity image fusion saliency detection method with adaptive decision-making capability. The research contents are as follows: (1) Concerning the absence of data in the heterogeneous image point collection and noise interference, for the registration problem, an insensitive shape context registration algorithm based on feature constrained by geometric contour features is proposed; (2) In order to solve the problem that the significant target is easy to lose the target structure in the low-rank matrix recovery theory based methods, a sparse low-rank salient target detection algorithm with spatial structure consistency is proposed; (3) Aiming at the problem that infrared targets are susceptible to noise interference in large field of view, a frequency-domain saliency detection algorithm based on multi-scale space is proposed; (4) Aiming at the problem of low fusion detection accuracy caused by unreliable sources, an adaptive fusion decision-making discriminant model is proposed. The implementation of this project has important practical and theoretical values for improving the automation and intelligence of emergency response and rescue decision-making based on unmanned systems in emergencies in China.

基于机载异源图像融合的生命探测是突发事件应急救援领域的前沿课题，其难点在于信源不可靠条件下的异源图像融合存在检测精度低、鲁棒性不强等问题。为此，本项目在视觉注意机制下，提出一种具有自适应决策能力的异源图像融合显著性检测方法，研究内容为：(1)针对异源图像点集中存在数据缺失及噪声干扰而造成的难以配准问题，提出一种几何轮廓结构特征约束下的不敏形状上下文特征配准算法；(2)针对基于低秩矩阵恢复理论检测显著目标易造成目标结构缺失的问题，提出一种具有空间结构一致性的稀疏低秩显著目标检测算法；(3)针对大视场条件下红外目标易受噪声干扰问题，提出一种基于多尺度空间的频域显著性检测算法；(4)针对信源不可靠造成的融合检测精度低的问题，提出一种自适应融合的交互式决策判别模型。本项目的开展对于提高我国突发事件中基于无人系统应急反应和救援决策的自动化和智能化具有重要现实意义和理论价值。

在无人机上搭载可见光和热红外传感器对非常规突发事件中的被困人员进行探测是应急救援领域的一个前沿课题。然而，由于异源传感器成像机理不同以及受复杂救援环境影响，造成异源图像无法可靠匹配，异源图像难以有效融合、人员目标难以准确检测。为此，本课题针对上述问题展开研究并取得了如下研究成果：1.在异源图像匹配方面，提出了基于CycleGAN-SIFT的可见光和红外图像匹配算法，利用CycleGAN以及借助迁移学习思想生成与原始红外图像具有视觉一致性的伪红外图像，从而有效解决了异源图像匹配时视觉差异性造成的影响；2.在异源图像融合方面，为了减少噪声干扰并且使融合结果具有较高的细节分辨率，基于各向异性扩散方法提出了基于离散余弦变换和各向异性扩散的融合算法以及基于小波变换和各向异性扩散的红外和可见光图像融合算法；在此基础上，为了使融合图像中尽可能保留原始图像信息，设计了一种视觉差异化特征提取算子，进而提出了一种基于视觉差异化特征提取的异源图像融合算法；此外，为了减少红外图像自身低分辨特性对融合结果造成的影响，提出了一种基于快速超分辨卷积神经网络和各向异性扩散的图像融合算法。3.在人员检测方面，提出了一种基于跨尺度特征聚合与分层注意力映射的红外行人检测算法，该方法可以实现红外行人目标在多尺度、部分遮挡以及环境干扰条件下的准确检测。依托本项目，发表和录用学术论文12篇（其中SCI期刊论文3篇，EI论文7篇，中文核心期刊2篇），申报发明专利5项，培养硕士研究生6名。