针对复杂地形区域的无人机多视角多时相遥感图像快速配准方法研究

Image registration for UAV (Unmanned Aerial Vehicle) remote sensing with multi-viewpoints and multi-temporal is an important technique for the important applications in the field of military and civilian. With the rapid increase in UAV aerial imaging demand for complex terrain areas, we found that the complexities of space distribution and geometric shapes of terrestrial objects will further exacerbate the non-rigid geometric distortion between images, and make the UAV remote sensing image registration face three urgent issues:①large non-rigid distortion based image registration, ② complex registration patterns, ③ fast image registration. To solve the three issues, the proposed research focuses on developing ①a mixture feature descriptor for image local invariant feature and geometric structure features, ② mixture feature based non-rigid point set iterative registration method and ③ fast image registration techniques, and combines them to build a feature point set based fast non-rigid image registration method. This research will provide theories and methods for the related applications in the field of military and civilian such as natural disaster damage assessment, military damage assessment, ground targets identification and location, terrain change detection, image aided navigation, and serve for the intelligent development of Chinese UAV industry.

无人机多视角多时相遥感图像配准是无人机航空遥感在军民领域多项重要应用的前提和关键技术。随着对复杂地形区域无人机航拍需求的迅速增加，地物空间分布和几何形状的复杂度会进一步加剧图像间的非刚性几何畸变，使得无人机同源多视角多时相遥感图像配准面临3个亟需解决的问题：①基于较大非刚性几何畸变的图像配准问题，②复杂配准模式问题，③图像快速配准问题。本课题拟重点研究①基于图像局部不变特征与几何结构特征的混合特征描述方法，②基于混合特征的非刚性点阵迭代配准方法，和③图像快速配准技术来实现基于特征点阵的图像非刚性快速配准算法解决前述三个问题。本课题的研究成果可以为在复杂地形区域下基于无人机航空遥感技术的自然灾害损失评估、军事毁伤评估、地面目标识别定位、地物变化检测、图像辅助导航等军民领域的重要应用提供理论与方法依据，并服务于中国无人机工业的智能化建设。

无人机多视角多时相遥感图像配准是无人机航空遥感在军民领域多项重要应用的前提和关键技术。随着对复杂地形区域无人机航拍需求的迅速增加，地物空间分布和几何形状的复杂度会进一步加剧图像间的非刚性几何畸变，限制了无人机同源多视角多时相遥感图像的精确配准。为此，本项目主要研究了：（1）基于图像局部不变特征与几何结构特征的混合特征描述方法，（2）基于混合特征的非刚性点阵迭代配准方法，和（3）图像快速配准技术来实现基于特征点集的无人机多视角多时相遥感图像快速配准。通过4年的研究，本项目在以上3个研究内容方面获得了如下重要结果：（1）混合特征描述方面：我们利用现有的全局特征描述子（如shape context）和项目中提出的局部距离、局部向量、局部纹理、领域结构等局部描述子，构建了一系列用于特征点集匹配的混合特征描述方法。这些方法很大程度提升了点集的特征描述，使得所提的混合特征描述子在遥感图像间出现较大的非刚性几何畸变时仍然可以精确描述对应点集间的特征相似性，从而获得更高精度的遥感图像配准结果。相关研究成果发表在《中国图象图形学报》、Remote Sensing等国内外著名期刊上。（2）非刚性点集迭代配准方面：为了更加有效地使用混合特征描述子，我们设计了高斯混合模型、学生T分布混合模型用于描述特征点集，并且设计了如局部向量约束、全局结构约束、曲率约束等一系列约束条件使配准在迭代过程中更加稳健，从而获得更高精度的配准结果。相关研究成果发表在《计算机学报》、《软件学报》、《自动化学报》、ICCV、IEEE TIP、Pattern Recognition等国内外著名期刊上。（3）快速配准方面：为了提升配准速度，我们引入了变分贝叶斯理论优化能量方程求解，使得在保证精度的同时获得更快的配准速度。此外，我们还设计了动态阈值法、基于各类特征描述的误匹配剔除策略、特征可视化等一系列方法提速遥感图像配准。相关研究成果发表在《计算机学报》、《遥感学报》、ICCV、Pattern Recognition、IEEE GRSL、IEEE JSTARS等国内外著名期刊上。