低空图传视频遥感准实时在线地质灾害目标识别方法研究

UAV remote sensing is an important means to enhance the national ability of geologic hazards on-site monitoring, emergency surveying and mapping. However, due to the deficiency of video image quality, real-time processing and target recognition of geologic hazards, UAV transmission video remote sensing can only be used for online visual interpretation or offline automatic recognition. So it is difficult to meet the urgent needs of the quick field report of disaster. Combining the theory and method of the photogrammetry and computer vision, target recognition and deep learning, this project will focus on the research of the multi-task learning algorithm to improve video image quality, the robust processing of ORB-SLAM based on the relocalization using submap and loop detection, the construction of the geological disaster target UAV image data sets and multilevel network model for target recognition, finally realize Quasi Real-time Online Target Recognition of Geologic Hazards Using UAV Transmission Video Remote Sensing. This research will provide strong technical support for quick field report and emergency security, and greatly enhance the application potential of UAV video remote sensing.

无人机低空遥感是增强国家地质灾害现场监查与应急测绘能力的高时相、高分辨率遥感手段。其中，低空图传视频遥感由于受到视频图像质量、实时处理精度和可靠性、灾害目标快速识别等客观条件和技术理论方法不足的限制，目前主要用于灾害目标在线目视判读或离线自动识别等，难以满足灾情现场精准速报的迫切需求。本项目将结合摄影测量与计算机视觉、深度学习与目标识别等领域的理论方法，重点研究多任务学习的视频图像质量改善算法、子地图和回环检测辅助重定位的ORB-SLAM稳健处理、地质灾害目标无人机影像数据集构建、多级联合网络模型建立及目标识别等关键方法，最终实现低空图传视频遥感准实时在线地质灾害目标识别。本课题的研究将为地质灾情现场精准速报和应急保障提供强有力的技术支撑，并且极大提升低空视频遥感的应用潜力。

本项目主要针对视频图像质量不高、实时处理精度和可靠性不足、地质灾害目标快速识别技术理论和方法不健全等问题，结合摄影测量与计算机视觉、深度学习与目标识别等领域的理论方法，重点研究多任务学习的视频图像质量改善算法、改进ORB-SLAM的图传视频准实时在线稳健处理、地质灾害目标无人机影像数据集构建及其识别等关键方法。经过四年的研究，本项目取得的重要成果包括：（1）提出了基于图像对齐和自适应信息融合的深度学习视频去模糊方法，以及基于高分辨率的光流和双分支特征融合的多任务学习质量改善方法，有效改善视频图像质量；（2）提出了基于全局特征和局部特征的层级图像检索方法，实现实时采集图像的在线动态快速检索；提出基于子地图和无向连通图的地图信息恢复算法，有效提高了VSLAM地图构建方法的可靠性和完整性；提出多策略联合的无人机图传视频VSLAM优化方法，进一步提升VSLAM建图的稳健性；（3）构建了一套地质灾害目标无人机影像数据集，验证了该数据集的有效性；针对地质灾害目标特殊性，结合IPO提出一种新的去重复框后处理算法IPO-MNS；面向倒塌房屋目标检测，提出一种基于transformer的Faster R-CNN模型优化方法；从传统机器学习和目标分割角度出发，提出一种顾及超像素光谱特征的无人机影像自动模糊聚类分割法；从变化检测角度出发，提出基于双任务约束和多尺度约束深度网络模型的建筑物变化检测方法，尝试为地质灾害目标识别提供一种新的思路；（4）发表论文20篇（SCI论文10篇，中文权威期刊论文3篇，会议论文5篇，高被引论文1篇），在审专利2项，软著1项，获全国测绘类软件创新开发大赛特等奖2项；培养毕业研究生15名，在读研究生9名。通过上述研究，本项目形成了一套包括视频图像质量改善、视频图像准实时在线稳健处理和地质灾害目标快速识别的完整技术框架，可为地质灾情现场精准速报和应急保障提供强有力的技术支撑。