基于多模态深度学习的弱特征多源海洋遥感影像协同分类模型研究

Abundant marine data resources have produced through frequent observations and by various observational means, but how to use these data effectively for ocean scientific research is an urgent issue. Focusing on accurate classification for multisource ocean remote sensing images with "weak features", which concept is firstly presented, this project proposes a new multisource synergetic classification model for ocean remote sensing images with weak features based on multimodal deep learning theory. The concrete research content is as follows: (1) a multisource synergetic classification framework with inner-modal feature learning and inter-modal feature association at its core; (2) a deep learning model to extract the inner-modal features from each source of ocean remote sensing image; (3) a method to generate inter-modal shared representations which embody the latent and associated information between the multisource ocean remote sensing images with weak features; and (4) a distributed parallel prototype system to realize the synergetic classification model on a cloud computing platform, as well as an empirical analysis to validate the proposed theory and methods. The research outcome will establish a theoretical foundation for developing multisource ocean remote sensing image classification, and provide a practical tool of classification.

高频度多源化的观测手段为海洋科学问题研究带来丰富的数据资源，如何有效利用这些数据资源是一个亟待解决的问题。基于首次提出的海洋遥感影像弱特征的概念，本项目聚焦于多源海洋遥感影像的精准分类问题，利用多模态深度学习理论，研究弱特征多源海洋遥感影像协同分类模型，具体研究内容为：（1）研究以模态内特征学习和模态间特征关联为核心的协同分类模型；（2）研究弱特征多源海洋遥感影像模态内特征的深度学习网络模型；（3）研究弱特征多源海洋遥感影像模态间关联共享特征的方法；（4）采用分布式并行云计算框架，设计弱特征多源海洋遥感影像协同分类的原型系统，对项目所提出的理论和方法进行验证。本项目研究成果为发展多源海洋遥感影像分类理论奠定基础，为多源遥感影像分类提供有效的工具。

远距离、非接触、大尺度的立体海洋遥感观测系统为复杂环境条件、持续快速变化的海上目标以及海洋环境要素监测提供了不可替代的数据基础。针对海洋遥感弱特征、目标时空差异、训练样本缺乏等难点问题和现时情况，本项目基于多模态深度学习理论基础，以“特征深度挖掘——多特征关联与表达——协同分类多级网络模型构建”为研究主线，发展弱特征海洋遥感高精度协同分类新方法。本项目的主要思路为：研究多特征自适应融合方法，充分利用多特征之间信息的互补协同信息提升海上目标（海岛、海洋中尺度现象等）分类识别精度；构建多尺度特征融合的多层深度网络，对单模态情况下海洋中尺度涡高层本征特征进行逐级抽象与表达，避免人为特征设计主观因素导致的精度低的问题，提升了模型的泛化能力与分类识别精度。针对海洋遥感训练数据集缺乏的现时情况，提出适合于小样本的多模态协同分类模型，模型对多模态海洋遥感间协同信息的增强和互斥信息的抑制，显著提升了目标分类识别精度。针对大规模海洋遥感分类过程的复杂迭代计算，搭建了基于Spark的分布式实验环境，提出了分布式环境下并行计算策略，构建了基于图模型的遥感影像搜索机制，相对于集中式方式，极大提升了模型的计算效率。同时，针对海洋遥感的高敏感性，项目组还研究了计划之外的分布式环境下海洋遥感协同计算的安全问题，并提出了加密遥感图像的安全外包搜索方案，可以有效保证云平台上遥感图像的安全性。为验证提出方法的有效性，项目组基于分布式环境研发了海岛、海洋中尺度涡自动识别原型系统，并进行了实证分析。本项目为多源海洋遥感协同分类提供了新思路与新工具，研究成果可以有效提升海洋遥感的应用前景，具有重要的立论与应用意义。.在项目资助下，共发表科研论文33篇，其中SCI期刊12篇，国际会议1篇，中文核心期刊20篇，申请国家发明专利8项（3项授权）。参加国内外学术会议30人次；人才培养方面，项目负责人晋升为二级教授，培养博士生3名，硕士生19名。