基于多镜头组合式全景相机和GPS的车载运动平台精确定位方法研究

Accurate localization of mobile platform is a key concern in the research areas about robotics, intelligent navigation and surveying and mapping. Considering the high price of high-accuracy GPS/IMU combined system, a panoramic camera composed of multi-camera rig, known as a new distinctive advantaged optical sensor, combined with GPS, may supply a cheap and convenient solution for mobile platform accurate localization. To accomplish this target, we aimed to solve two key technologies. The first is data association of panoramic image sequence, which includes “sequential image matching using panoramic epipolar”, and “closure detection and closure constrains of arbitrary panoramic images”, The second is “GPS-supported bundle adjustment with panoramic imagery and automatic gross error detection and weighting of noisy GPS data”, which will obtain correct weight values for every GPS spots in a solution and obtain reliable localization results at last. This work will fill gaps of related researches such as epipolar theory of a multi-camera rig, automatic GPS weighting with panoramic imagery etc., and probably promote the wide attention and application of panoramic camera in the related fields.

运动平台精确定位在机器人、智能导航、测绘制图等研究领域都是一项关键技术。顾及高精度GPS/IMU组合系统价格昂贵，多镜头组合式全景相机作为具有独特优势的新型光学传感器，结合GPS，可能为车载运动平台精确定位提供一种方便、廉价的解决方案。为实现这一目标，我们确定了需重点解决两项关键科学问题。一是全景影像数据关联（data association），包括相邻帧间的“全景核线约束的曲面影像匹配”，和任意帧间的“闭环探测和闭环约束”。二是“GPS粗差探测和GPS辅助全景影像序列区域网平差”，能够在解算过程中自动为含噪GPS设定正确权值并最终获得稳定可靠的定位结果。本课题将较好地填补“多镜头组合式全景影像的核线理论、全景影像序列辅助的GPS粗差探测”等相关研究空白，并有可能促进全景相机在相关领域的广泛关注和应用。

运动平台精确定位在机器人、智能导航、测绘制图等研究领域都是一项关键技术。顾及高精度GPS/IMU组合系统价格昂贵，多镜头组合式全景相机作为具有独特优势的新型光学传感器，结合GPS，可能为车载运动平台精确定位提供一种方便、廉价的解决方案。经过三年的研究，我们解决了两个关键问题。第一，一是全景影像数据关联（data association），包括相邻帧间的“全景核线约束的曲面影像匹配”，和任意帧间的“闭环探测和闭环约束”。我们采用多特征匹配，视觉词袋，和基于深度学习的闭环探测实现。第二，是“GPS粗差探测和GPS辅助全景影像序列区域网平差”，能够在解算过程中自动为含噪GPS设定正确权值并最终获得稳定可靠的定位结果。我们采用了GPS与视觉图像系列融合的方法，使得在GPS精度不高的前提下，依然得到最好的定位结果。本课题将较好地填补“多镜头组合式全景影像的核线理论、全景影像序列辅助的GPS粗差探测”等相关研究空白，并有可能促进全景相机在相关领域的广泛关注和应用。