基于注意力机制与边缘感知的高分辨率光学遥感影像建筑物实例提取研究

Building instance extraction in high (spatial) resolution optical remote sensing imagery is of great application value to the urban planning and construction management. However, two challenges still exist: the diversity of building appearance and sizes leads to the difficulty in adaptive extraction of effective features, and the close adjacency and severe occlusion in densely distributed buildings make it difficult to accurately identify instance boundaries. To solve the above problems, an instance segmentation method based on attention mechanism and boundary awareness is put forward. For the problem of diverse appearance and sizes, we build a multi-level feature extraction module based on dual-attention mechanism, which adaptively extracts features that closely related to different appearance and sizes of buildings by high-level semantic attention and the self-attention mechanism. Aiming at the problem of adjacency and occlusion, a boundary-aware module is built by combining the global and local instance boundaries, to improve the ability of fine and accurate identification of instance boundaries. Finally, predict the location and segmentation map of each instance for realizing building instance extraction. Our method will be applied on building change detection for verifying its effectiveness. This project will provide new ideas and methods for building instance extraction in high resolution remote sensing imagery, and further promote its wide applications in fields like urban planning and construction management.

基于高（空间）分辨率光学遥感影像的建筑物实例提取研究对城市规划和建设管理具有十分重大的应用价值。然而，现有研究存在如下两个难题：建筑物外观尺寸多样化导致有效特征难以自适应提取；建筑物密集分布情况下紧密粘连及严重遮挡造成实例边缘难以准确识别。为解决上述问题，提出基于注意力机制和边缘感知的实例分割方法：针对外观尺寸多样问题，搭建基于双重注意力机制的多层次特征提取模块，采用高层语义注意力和特征自注意力机制，自适应提取与不同外观及尺寸建筑物密切相关的特征；针对粘连及遮挡问题，搭建边缘感知模块，结合全局和局部实例边缘信息，提升对实例边缘的精细准确识别能力；基于此，预测每个建筑物实例的位置和分割图，实现建筑物实例提取。利用本项目方法开展城市建筑物变化检测应用研究，验证本项目方法的有效性。本项目研究将为遥感影像建筑物实例提取提供新的思路和方法，推动其在城市规划和建设管理等领域中的广泛应用。

基于高（空间）分辨率光学遥感影像的建筑物实例提取对城市规划和建设管理等领域具有重大应用价值。光学遥感影像中建筑物外观尺寸多样及密集分布给建筑物实例提取带来了巨大挑战。针对外观尺寸多样及密集分布难题，本项目1）提出了双层注意力机制与得分一致性网络，该网络主要包括双层注意力模块（层间注意力和层内注意力）、多尺度特征融合模块和得分一致性损失函数，提高了对复杂场景下外观尺寸多样目标的特征表达能力；2）考虑到transformer网络的全局性和卷积神经网络（convolutional neural network，CNN）的局部性对分割任务均十分重要，进一步提出了融合transformer与CNN的分割网络，该网络充分利用transformer丰富的全局上下文和语义结构信息以及CNN丰富的局部上下文和细节外观信息，提高了对目标密集分布情况下全局和局部信息的整合能力；3）引入门控机制和目标几何信息，提出了门控空间记忆与形心感知网络，该网络主要设计了门控空间记忆模块（输入门和状态门，控制多尺度特征间的信息传递，同时记忆信息传递过程中的重要特征）和形心感知头（预测实例形心），提高了对尺寸多样及不规则形状目标的感知识别能力。基于上述方法，本项目实现了在建筑物实例提取和变化检测中的初步应用。本项目研究在城市规划与测绘、城市建设与发展等方面具有潜在的应用价值。本项目研究成果项目负责人以第一作者已发表SCI论文2篇，以通讯作者已发表EI论文3篇（含1篇ECCV顶会），以第一发明人已授权国家发明专利2项、已受理国家发明专利2项。