基于深度学习的多源多分辨率遥感影像融合算法研究

Multi-source and multi-resolution remote sensing image fusion, such as spatio-temporal fusion, spatio-spectral fusion, and temporal-spectral fusion, is an economic and effective way to solve the problem of insufficient remote sensing image resolutions. There are some problems in mainstream fusion methods, such as lack of a unified fusion framework, the insufficient fusion precision and not fully exploring the prior information in images. Therefore, this project explores deep learning based high-precision fusion methods to build three unified spatio-temporal fusion, spatio-spectral fusion and temporal-spectral fusion frameworks to serve for quantitative remote sensing. The main research contents include: (1) for spatio-temporal fusion, we learn the nonlinear mapping between high and low resolution images in an end-to-end manner by using the massive training data via designing a very deep fully convolutional neural network, leading to a robust fusion model; (2) for spatio-spectral fusion, to solve the problem of insufficient training samples, we design a generative adversarial network (GAN) model to learn the generation model from multispectral images to hyperspectral images, and establish an objective function weighted all related aspects, leading to high-precision fusion data; (3) for temporal-spectral fusion, we establish a unified and high-precision fusion framework via further designing a conditional GAN model and a fusion model, where the former learns the generation model from low spectral images to high spectral images to solve the problem of a large number of non-optimal solutions caused by less constraints in the GAN model, and the later integrates the prior image information and the outputs of the networks to yield the final fusion results.

时空、空谱、时谱等多源多分辨率融合是解决遥感影像分辨率不足的一种经济、有效的手段。目前主流方法存在缺少统一的算法框架、融合精度不足以及未充分挖掘先验影像信息等问题，为此，本项目拟探索基于深度学习的高精度融合方法，分别构建统一的时空、空谱和时谱融合框架，为定量遥感提供服务。主要研究内容包括：对于时空融合，设计极深全卷积神经网络，利用海量训练数据，端到端学习高低分辨率影像间的非线性映射，指导设计鲁棒的融合模型；对于空谱融合，为解决训练样本不足的问题，设计生成对抗网络（GAN），学习由多光谱影像到高光谱影像的生成模型，并设计加权综合考虑的目标函数，引导生成高精度融合数据；对于时谱融合，为解决由GAN模型约束过少导致产生大量非最优解的问题，进一步设计条件GAN模型，学习由低光谱影像到高光谱影像的生成模型，并设计融合先验影像的模型，构建统一、高精度的融合框架。

近年来，随着大量对地观测卫星的发射，获取的遥感数据量急剧增大，且新发射的卫星传感器均朝着具有高空间、高时间、高光谱分辨率数据获取能力的方向发展。然而，在现有卫星传感器的硬件技术和卫星发射成本的限制下，当前的卫星遥感系统存在着分辨率之间相互制衡的局限性，使得遥感卫星难以获得具有多属性高分辨率的遥感影像。造成遥感数据使用者直接获得的数据往往无法满足特定的任务需求。因此，为了进一步拓展现有遥感影像大量潜在的应用和研究价值，发展遥感影像的时空谱融合算法是一种经济且有效的手段。. 本项目探索基于深度学习的高精度融合方法，分别构建统一的时空、空谱和时谱融合框架，为定量遥感提供服务。主要研究内容包括：1）对于时空融合，设计极深全卷积神经网络，端到端学习高低分辨率影像间的非线性映射，指导设计鲁棒的融合模型；2）对于空谱融合，为解决训练样本不足的问题，设计生成对抗网络（GAN），学习由多光谱影像到高光谱影像的生成模型，并设计加权综合考虑的目标函数，引导生成高精度融合数据；3）对于时谱融合，学习由低光谱影像到高光谱影像的生成模型，并设计融合先验影像的模型，构建统一、高精度的融合框架。. 针对深度学习在遥感影像时空谱融合中的应用，结合给定遥感影像的特点和现有深度学习模型的优势，发展了统一的时空融合、空谱融合、时谱（时角）融合框架。提出了基于极深卷积神经网络的高精度时空融合非线性映射模型、面向空谱融合模型的生成对抗网络、基于条件生成对抗网络的时空融合模型、稀疏域时谱融合模型等多项创新性技术。并初步开展了基于深度特征学习的图像/视频超分拓展研究。基于本项目研究成果和前期研究成果，在标准的时空融合、空谱融合数据集上搭建了原型系统。项目研究成果不仅对提升现有时空谱融合算法的精度具有重要意义，而且在土地变化检测、灾害监测等领域具有广泛的应用前景。