高光谱遥感图像语义信息的挖掘与应用

In recent years, the research of semantic analysis has attracted adequate attention in the field of image processing. This proposal introduces semantic analysis to the processing of hypersepctral images. As a consequence, not only the rich spectral information inside hyperspectral images is used, but also the abundant semantic materials behind the heperspectral scenes are disclosed. By introducing the hierarchical framework of pixel-region-target, the relationship between hyperspectral images and texts are established. This enables the detailed interpretation of semantic meaning in hyperspectral images. Further it makes possible the application of text analysis methodologies in hyperspectral processing. Compared to natural images, the semantic materials also exist between the spectral bands of hyperspectral images. This fact enriches the research topics of semantic analysis in hyperspectral images. The contents of this proposal include: the semantic modeling in the construction of semi-supervised graph; the “pixel-region-target” based hierarchical classification technique with semantic meanings; semi-supervised band selection with semantic meanings; the application of text analysis in hyperspectral images. In practice, this proposal effectively integrates the semantic thinking in text analysis, the rich theories and techniques in pattern recognition, and the characteristic of hypersectral images. As the motivation, this proposal aims to find a set of new customized methodologies specifically to the semantic analysis in hyperspectral images.

近年来，图像的语义分析在图像处理领域得到了一定的关注。本项目将语义分析引入到高光谱图像处理中，不但利用了高光谱数据提供的大量光谱信息，更是充分挖掘了高光谱作为图像所蕴含的丰富语义信息。通过将高光谱图像分成“像素—区域—目标”的层状结构，建立了高光谱与文本分析处理之间的关系，从而使得语义在高光谱图像中有了具体的解释，进一步使得文本处理中的分析方法在高光谱处理中的应用成为可能。与自然图像相比，高光谱的多个波段之间同样存在着语义信息，这使得高光谱的语义研究与自然图像相比有了更深层次的内涵。本项目的具体研究内容有：基于图的半监督语义表达；基于语义的“像素—区域—目标”分层分类技术；结合语义信息的半监督波段选择和语义分析模型在高光谱分类中的应用。在研究方法上，本项目结合文本分析中的语义思想，大量利用模式识别中的理论和技术，并且结合高光谱自身的特点，找到适合高光谱语义分析的一系列方法。

本项目将语义分析引入到高光谱图像处理中，不但利用了高光谱数据提供的大量光谱信息，更是充分挖掘了高光谱作为图像所蕴含的丰富语义信息。通过将高光谱图像分成“像素—区域—目标”的层状结构，建立了高光谱与文本分析处理之间的关系，从而使得语义在高光谱图像中有了具体的解释，进一步使得文本处理中的分析方法在高光谱处理中的应用成为可能。与自然图像相比，高光谱的多个波段之间同样存在着语义信息，这使得高光谱的语义研究与自然图像相比有了更深层次的内涵。在原有计划的基础上，进一步拓展了研究的内容，并发表一些重要成果。具体包括：提出了一种基于波段间语义挖掘的半监督波段选择方法；同时提出了一种语义约束的方法，来解决高光谱混合像元的问题；提出了基于哈希学习和结构化学习的二值特征提取的语义挖掘方法，用于高光谱图像的分类；提出了一个结合上下文语义的深度神经网络模型，用于图像中的语义标记；提出了一个语义分割结合传统边缘检测的多任务深度学习网络，该网络能够检测遥感图像中云的分布。其中，检测云的模型对天气预报，预测自然灾害等具有重大的实用意义。