形状先验和数据驱动的高分辨遥感影像目标提取

Though high spatial resolution remote sensing images provide more abundant and fine ground information, complete target often cannot be extracted automatically in complex scene, such as occluded, shadowed, noisy, cluttered, and have multi objects, by only local features (e.g.: spectral, texture, edge) derived from image data. Since we know the shapes of remote sensing targets, especially the shapes of artificial objects in advance, we propose this project to study targets extracting methods in complex scene using shape prior and image data. Based on the theories and methods in the fields of remote sensing, statistics, image registration, graph-based image segmentation and classification, aiming at buildings, roads, green fields in urban high resolution remote sensing images, statistical model for shape and object extracting methods with one shape template and multi shape templates using image data and shape prior similar to the object will be systematically studied in this project. This research has important academic and practical value in shape prior knowledge study and its remote sensing image application.

高空间分辨率遥感影像提供了更为丰富、精细的地面信息，但利用源于图像数据的光谱、纹理、边缘等局部特征，在有遮挡、阴影、噪声影响、背景杂乱、多目标等复杂场景下，依然难以自动提取出完整的目标。鉴于遥感目标，特别是人工地物具有特定的事先已知的形状，项目提出基于遥感、统计、图像配准、基于图的图像分割、分类等领域的理论和方法，针对城市高分辨遥感影像中建筑物、道路、绿地等目标，以图像数据为基础，以与目标相似的形状作为先验知识，研究形状的统计表示模型和具有单个形状模板以及多个形状模板的图像目标提取方法，利用形状先验和图像数据解决复杂情况下的目标提取问题。项目针对矩形、具有平行边的长条状、交叉路口等形状，系统地研究形状模型和全局形状特征作为先验知识，与图像特征共同作用提升高分辨遥感影像目标提取性能的方法，对深化先验知识的研究、基于形状先验和图像数据的遥感目标提取方法的研究和应用具有重要的理论意义和应用价值。

遥感影像目标提取传统研究依赖手工设计的光谱、纹理、边缘、简单的几何形状等特征，在有遮挡、阴影、噪声、背景杂乱、多目标等复杂场景下，难以提取出完整的目标。鉴于遥感（特别是人工）目标具有特定已知的形状，项目提出研究目标形状的表示，以及结合形状先验和光谱等特征的遥感目标提取方法。首先，研究了基于传统统计方法的形状建模，形状的对齐、形变、利用模型和输入获取形状先验信息等问题，并将形状先验加入到马尔科夫随机场、水平集等图像分类、分割方法中，解决了新约束的施加和求解等问题，结合形状和光谱等特征完成目标提取任务。其次，研究提出了基于受限玻尔兹曼机、深度信念网络、深度玻尔兹曼机、卷积受限玻尔兹曼机等深度网络模型的形状建模方法，解决了模型构造、训练、重建信息等问题。这些模型不需要单独再解决形状对齐、形变、比较等问题，可以更加灵活地表达形状信息。在此基础上研究了通过对输入进行重建完成目标提取的方法，以及将重建结果作为目标形状先验信息加入马尔可夫随机场、水平集的能量函数中来提取目标的方法。不管是传统统计方法还是深度学习方法建模表示形状信息，和传统基于光谱、纹理等特征提取目标的方法相比，由于全局形状特征的使用，都使提取的目标更加完整，特别在噪声、遮挡、背景杂乱、目标自身特征不均匀等情况下体现出明显的优势。最后，研究了目标分割和目标检测的深度网络模型来提取遥感目标，重点解决了小规模网络、多源多层特征融合、显著场景获取等问题，以应对遥感影像规模大、标记样本有限、目标密集、目标形态、大小和分布不均等带来的挑战。基于深度网络提取目标低级、高级特征的能力，和我们面向遥感目标采取的措施，使提出的各模型和方法对所处理的遥感数据集得到的评价结果不仅远超传统方法，也优于或相当于目前我们所知的文献中基于深度学习的先进方法获得的结果。项目对遥感目标提取的方法和技术研究具有前沿性、先进性，以及重要的理论意义和应用价值。