车载全景序列图像的特征匹配方法研究

Panoramic image sequences based on the mobile vehicles play a critical role in geographic information database construction for smart cities. Object matching, especially point matching, is one of the key contents for its wide applications. However, the performance in terms of feature representation, matching accuracy and efficiency deteriorates due to complex scenes and fast moving cameras. The research will focus on four parts: (1) Considering scene depth inconsistency and view change, we study fractional differential with scene graphs, and find mechanism of accurate expression. (2) Under deep learning framework,we extract structural features with semantic characteristic via designed network topology and algorithms based on manifold learning to improve the performance of object representation.(3) With consideration of matching stability affected by similar texture structure, moving object and camera movement, we introduce scene graphs and camera movement to energy optimization function and construct unknown structure probabilistic graphical models, leading to error reduction for matching. Through optimizing parameter and designing hierarchy subspace structural graph, matching efficiency is improved. (4) In order to optimize the application system，the proper method for point representation and matching in panoramic image sequences is designed.The reseach findings are expected to improve matching accuracy for any points and robustness for vehicle camera parameter estimation. Meanwhile, it lays the solid foundation for wide applications of panoramic image sequences in the smart cities construction.

车载全景序列图像在构建智慧城市基础地理信息数据库中发挥着重要作用，目标匹配尤其是点匹配是其深度应用的核心内容之一。车载相机的快速运动及其复杂场景易导致点特征难以准确表示、点匹配精度低以及匹配速度慢等问题。因此,项目研究内容包括：①考虑视角变化和场景深度不一致对点准确表示的影响，结合场景结构研究自适应分数阶微分，探索目标区域准确表示机理。②在深度学习框架下，结合流形学习设计网络拓扑结构和学习算法，提取具有语义特点的结构化特征，提高目标表示准确性。③考虑相似纹理结构、运动目标和相机运动等情况对匹配精度影响，将相机运动和场景结构特性引入能量优化函数，自主构建未知结构概率图模型，降低匹配错误率；设计层次化低维子空间结构图并优化模型，提高匹配效率。④设计适合全景图像应用的点表示和匹配方法,优化应用系统。研究结果可望提高任意点匹配精度和相机参数估计的鲁棒性，为智慧城市建设中实景化深度应用奠定基础。

加快推进智慧城市建设和振兴乡村战略实施已经成为各级政府重要工作，全景序列图像是智慧城市和乡村基础地理信息数据库中的重要组成部分。如何充分挖掘图像信息，特别是不同全景图像之间的相关性成为其深度应用的核心内容之一。.项目组基于车载相机的快速运动及其复杂场景易导致点特征难以准确表示、点匹配精度低以及匹配速度慢等问题开展了一系列研究，研制了全景采集车1台；在TMM、Neurocomputing、CVPR等期刊和会议上发表科研论文19篇，其中SCI 8篇；申请发明专利18件，其中授权发明专利16件，应用转化3件，产生经济效益1000多万元；研究成果获得省部级奖励2项，其中一项排名第1，一项排名第三；承办国际会议2次。具体研究成果包括：.（1）研制和优化了一套全景采集车，分别记录全景图像、实时GPS和实时姿态等信息，并采集了苏州市区、张家港市区、昆山市花桥经济开发区、吴江市区等地的全景图像信息，相关数据已经成为了当地政府部门基础地理信息数据库的重要组成部分。.（2）在理论研究方面，提出了分数阶微分掩模算子自适应构建，并应用到图像滤波、点特征提取等方面；提出了基于残差网络的多层感知机人工神经网络和基于注意力累积机制的视觉指称方法，有效提升了网络学习性能；提出了CGM（clique generating machine）训练图模型，有效的提高了图像分类的性能；提出了层次化的约束图模型，实现了快速的点特征匹配，提高匹配效率；提出了一种自适应权重多尺度的任意点匹配和深度不连续区域的立体匹配算法，较好解决了全景相机成像范围大导致拍摄图像环境复杂、深度不一致，图像特征点匹配难度大的问题；提出了一种基于全景图像的实时测距方法，实现了全景图像中目标测量，精度在20cm以内。.（3）基于以上理论，开发了一个全景数据共享平台，并为苏州市、张家港市等地区提供了共享应用服务；为苏州市市容市政局开发了一套全景图像深度应用的广告测量系统，实现了在全景图进行广告牌的测量和虚拟展示，大大节省了户外测量和模拟成图的工作量，为智慧城市建设中实景化深度应用提供了新思路。