面向智能平台的视觉定位与地理环境智能解译技术研究

In order to solve the problem of intelligent platform location and environmental interpretation and recognition in a complex geographical environment, a new deep learning based algorithm, where the input is sequence images acquired by non-measurable camera, is proposed for camera pose recovery and 3D point cloud generation, which breaks through the traditional visual SLAM which uses multi-view geometric model. At the same time, the high precision geospatial data, spatial relation and error optimization model are introduced into the related algorithms. The geospatial data, knowledge and key technologies in Geosciences will be combined with SLAM technology and deep learning technology in computer science field to improve the accuracy of visual location and 3D point cloud data. To improve the ability to interpret the geographical environment, a deep leaning network model that integrates structural learning is proposed, which enables deep learning network to have better spatial reasoning ability. Finally, the multi-modal fusion based framework is proposed to extract the highly nonlinear relationship between the two data by multi-source geospatial data (i.e. 2D geographic images and 3D point cloud), so as to improve the accuracy and robustness of the algorithm in the interpretation of the scene of complex three-dimensional geographical environment. The breakthrough and innovation can provide effective visual location and intelligent perception of geographic environment for intelligent platforms such as autonomous vehicles, robots and unmanned aerial vehicles.

针对目前复杂地理环境下智能平台的定位和环境解译存在的问题，本课题以非测绘专业设备获取的视频序列影像为数据源，尝试利用深度学习充分发掘序列影像的几何、语义信息进行视觉定位和三维点云构建。同时，拟将精确的基础地理空间数据、空间关系、误差优化模型引入相关算法中，将地学领域的基础数据、知识以及关键技术与计算机领域的SLAM技术、深度学习技术交叉融合，提高视觉定位和三维点云数据的精度。为了提高地理环境智能解译能力，提出一种融合结构学习的深度学习网络模型，使深度学习网络具备更好的空间推理能力；最后，综合利用多源地理空间数据，例如二维影像数据、三维点云数据，通过多模态深度学习方法挖掘不同数据内在高度非线性关系，从而提高复杂三维地理环境解译的精度和算法的鲁棒性。通过本课题的研究可为自动驾驶汽车、机器人、无人机等智能平台提供有效的视觉定位和地理环境智能感知手段。

本课题聚焦无人平台地理环境智能感知领域中的定位和解译两个核心基础问题，以测绘地理信息部门生产的海量的具有精确地理坐标的影像为支撑，综合应用地理信息技术、计算机视觉技术、深度学习技术，为智能平台探索有效的视觉定位和地理环境智能感知关键技术。.本课题在地理实体目标识别技术、基于地理实体空间关系的地理影像匹配技术、基于迭代EPnP算法的相机位姿恢复技术、基于序列影像的三维点云构建技术、基于多模态空间数据融合的地理场景解译技术等5个关键技术上取得重要成果。一是提出了基于不变性特征学习网络的地理实体识别模型，提升无人自主平台地理实体识别的精度和鲁棒性，为无人自主平台的环境解译与推理奠定良好基础。二是设计了基于多模态学习的地理环境智能解译算法，通过多源地理空间数据融合使用显著提高了环境解译的精度和鲁棒性。三是提出了地理实体空间关系推理模型，解决了深度学习网络缺少显式空间关系学习的问题。四是设计了基于先验序列地理影像的视觉定位算法，实现了基于高精度地理实景影像的视觉定位。五是建立了大规模公开的地理实体目标识别数据集DIOR和地貌解译数据集ZISM50m，成为领域内影像总量最大、类别数目最多的数据集之一，进一步推动了地理环境智能解译领域的研究进展。.本课题发表了SCI/EI高水平学术论文11篇，其中SCI检索论文6篇；申请和授权国家发明专利4项，其中已授权3项；在人才培养方面，培养研究生6名，其中4名博士围绕本课题相关研究内容顺利完成了学位论文；构建了2个大规模地理环境解译相关数据集，并已向学术研究开源发布；基于本课题研究成果获得了测绘科技进步一等奖，河南省优秀科技论文一等奖等2项科研奖励。