基于快速样本标记和容错性深度学习的遥感影像场景分类

High-resolution satellite image scene classification is a challenging and fundamental task in the high-resolution image interpretation domain, and the crucial problem in this task is how to cope with the semantic gap between the low-level satellite image feature and the high-level semantic scene category. Generally, the deep learning technique could mine the hierarchical feature, which makes it own a great potential to solve the aforementioned semantic gap. However, the success of deep learning greatly depends on a large-scale dataset with accurate annotations, which is not currently available in the satellite image scene classification task. In order to overcome these challenges, this project plans to propose a novel satellite image scene classification approach through exploring two key science problems: fast sample annotation and error-tolerated deep learning. Firstly, we propose an iterative annotation approach based on super-samples. The proposed annotation approach can jointly consider both the annotation efficiency and the annotation accuracy. Benefiting from this proposed annotation approach, one large-scale dataset with labels can be quickly constructed. Secondly, we propose an error-tolerated deep feature learning approach, which can learn the accurate feature representation and discrimination model from the constructed large-scale dataset containing some error labels. Finally, for extending the application scope of the proposed scheme, we propose transforming approaches between different scene-level satellite image scene classification tasks. As a whole, the project could enrich the fundamental theory in the remote sensing domain, and the corresponding research achievements help to ensure that the earth observation technology of remote sensing successfully supports the national economic development.

高分辨率遥感影像场景分类是高分辨率遥感解译领域中非常有挑战性的基础研究问题，其研究难点在于如何解决低层遥感图像特征与高层场景语义类别之间的“语义鸿沟”问题。具备层次化特征表达能力的深度学习技术有望克服这一问题，但它依赖大规模有标记样本库，而且目前并无面向遥感影像场景分类的大规模样本库可用。为了应对上述挑战，本项目旨在通过研究快速样本标记和容错性深度学习这两个关键科学问题，建立新型遥感影像场景分类方法。提出基于超样本迭代标记的样本库标记方法，可以同时兼顾标记效率及标记准确率，实现大规模有标记样本库快速建立。提出容错性深度学习方法，从含有部分错误标记的样本库中学习出正确的特征表达与判别模型。为了提高所获得的特征表达与判别模型的实用性，提出其在不同遥感影像场景分类任务间的推广应用方法。该项目可以丰富遥感解译领域的基础理论，其应用成果可以为我国遥感对地观测技术更好地服务国民经济发展提供技术支撑。

高分辨率遥感影像场景分类旨在通过挖掘场景内目标及目标间的空间分布关系来预测遥感影像场景的语义类别。相比联合人工特征和浅层分类器的传统遥感影像场景分类技术，具备层次化特征抽象与分类一体化的深度学习技术有望解决低层遥感图像特征与高层场景语义类别之间的“语义鸿沟”问题，实现遥感影像场景分类任务的性能飞跃。然而，深度学习技术的优越性能高度依赖于遥感影像样本库的标记规模与标记质量。本项目依托深度学习的强大特征表达与判别分类能力，以“遥感影像场景样本库快速标记技术—遥感影像场景容错性分类技术—遥感影像场景标签约束知识迁移技术—遥感影像场景检索与挖掘技术—遥感影像场景驱动的目标检测与识别技术”为研究主线，开展了深度学习驱动的高分辨率遥感影像场景分类理论与方法的系统研究，主要研究成果包括：（1）提出了基于无监督分级聚合的遥感影像场景快速标记方法；（2）考虑到样本标签可能存在错误，提出了基于容错性深度学习的遥感影像场景分类方法；（3）提出了基于弱监督深度学习的遥感影像场景标签约束知识迁移方法；（4）提出了基于深度哈希学习的单模态及跨模态遥感影像场景检索方法；（5）提出了一系列遥感影像场景引导的目标检测与识别技术；（6）基于提出的快速样本标记与容错性深度学习技术，研制了可以快速适应新任务的遥感影像场景分类软件系统。总体来说，项目组共发表高水平国际SCI期刊论文16篇（其中，发表在遥感领域顶级期刊IEEE Transactions on Geoscience and Remote Sensing上的研究论文多次入选ESI高被引论文和ESI热点论文），发表国际EI会议论文1篇，申请国家发明专利5项。在项目的资助下，项目负责人晋升为武汉大学长聘副教授，获得国家自然科学基金面上项目的延续资助；毕业博士研究生2人，毕业硕士研究生3人，在读博士研究生1人，在读硕士研究生3人；项目组成员多次参加国内外学术会议并分享项目组研究成果，邀请国外专家学者2人次来研究小组做报告并开展深入学术交流。