基于多视角深度特征融合的遥感视频运动目标检测跟踪

The static picture captured by the traditional observation techniques of remote sensing could not meet the requirement of monitoring moving objects in real-time. As a new observation technique of remote sensing, remote sensing video imaging could achieve the monitoring of moving objects in real-time. Besides the sense, object characteristic of remote sensing images and the temporal characteristic of natural video, remote sensing video is a sequence of remote sensing images obtained from multiple views. The multi-views characteristic may bring some difficulties to the interpretation of remote sensing video. This project may focus on the bottleneck problems existing in the moving object detection and tracking from multi-views to develop our research plan and the research contents are listed as follows. Firstly, a multi-views dynamic background extraction model is proposed to detect moving object accurately, which combines low-rank representation and auto encoder techniques. Secondly, a multi-views deep features fusion model is proposed. Based on the deep graph feature extraction network of objects and multi-views object features fusion algorithm, the object tracking results robust to partial cover and multi-views can be obtained. Finally, the reasonable experiments on real remote sensing videos are given to verify the performance of the models proposed above. Through the research of this project, it is hoped to excavate the problems and capacity of multi-view characteristic in practical applications and provide some new ideas and techniques for remote sensing video interpretation in the future.

传统遥感观测技术获得的静态遥感图片无法满足运动目标实时观测的需求，遥感视频成像作为一种新兴的遥感观测技术，可以通过凝视成像技术实现远距离运动目标实时观测。遥感视频除了兼具遥感图像的场景目标特性及自然视频的时序特性之外，更是具有多视角特性的遥感图像序列组合，该特性将会给遥感视频的解译带来一定困难。本项目将从多视角的角度出发，拟针对遥感视频运动目标检测和跟踪中的瓶颈问题开展以下研究：（1）提出多视角动态背景提取模型，利用低秩表示及自编码器技术实现多视角动态背景的正确提取，从而实现运动目标的准确检测；（2）提出多视角深度特征融合模型，利用目标深度图特征提取网络和多视角目标特征融合方法，最终获得对部分遮挡及视角鲁棒的目标跟踪结果；（3）完成对模型及算法的演示验证。通过本项目的研究，希望能挖掘出多视角特性在实际应用中的问题及潜力，为未来的遥感视频解译提供新的思想及技术手段。

传统遥感观测技术获得的静态遥感图片无法满足运动目标实时观测的需求，遥感视频成像作为一种新兴的遥感观测技术，可以通过凝视成像技术实现远距离运动目标实时观测。遥感视频除了兼具遥感图像的场景目标特性及自然视频的时序特性之外，更是具有多视角特性的遥感图像序列组合，该特性将会给遥感视频的解译带来一定困难。本项目针对遥感视频目标检测跟踪的关键问题主要开展三方面的研究内容：（1）通过动态多视角背景建模，实现运动目标的准确检测，（2）构建多视角特征融合模型，实现目标的持续跟踪，（3）在实际数据上对算法进行验证。围绕以上研究内容，项目组开展了多方面深入研究，完成了对深度目标跟踪方法的综述研究，提出了基于复合图卷积特征融合网络的目标跟踪方法，融合卷积神经网络提取的局部性特征与图卷积神经网络提取的全局性特征；提出了针对遥感视频小目标的自学习特征提取网络，提高跟踪性能；提出了注意力机制引导下的孪生特征融合网络，提高特征学习过程的信息交互；提出了基于素描先验的遥感图像目标区域分析方法，为后续应用问题提供引导信息；提出了基于多尺度分析的遥感图像目标结构特征增强的网络（多尺度动态Curvelet散射网络,对偶小波注意力网络）。项目取得的研究成果共发表国际期刊论文7篇，授权或申请国家发明专利7项。本项目的研究成果主要针对与遥感影像，可以被应用于城市建设、智慧农业、防灾减灾、军事侦察等领域，具有实际应用价值。同时，研究成果中所提出的特征学习、特征融合模型算法是具有一定通用性，可被扩展应用到其它的视觉处理领域，其中的思想也可以被之后的学者所借鉴，促进领域技术的不断创新。