拟曼哈顿世界中基于图像的定位技术研究

In this project we propose and investigate an image-based localization technique which utilizes the matching between ground-view images and aerial images. The technique can be used to localize vehicles in urban environment. Since most urban buildings satisfy the quasi-Manhattan assumption, such an environment can be called a quasi-Manhattan world. With the quasi-Manhattan assumption, corners in an aerial image can be one by one related to vertical corner lines in the corresponding ground-view image. The key steps of this localization technique include: 1) extract building boundaries and detect corner points on the aerial images, and then use these features to code the street crossings in the city; 2) extract vertical corner lines in the ground-view images, and then use these features to code the location of the vehicle; 3) measure the similarity of the two codes, and localize the vehicle by a code retrieval process. The main contributions of the project also include feature extraction algorithms in the quasi-Manhattan world which are based on curve evolution process, and feature coding algorithms based on coding circles. Compared to the existing localization techniques in the same category, the proposed technique is simpler in implementation and has a lower computational complexity. Therefore, it is suitable for large-scale environments. Note that it can also be used in small-scale environments(such as container terminals), when the quasi-Manhattan assumption is satisfied.

提出并研究一款基于地面侧视图像与航拍俯视图像匹配的定位技术，可应用于城市场景中对车辆进行定位与导航。由于城市中的建筑物大多数均满足“拟曼哈顿假设”，这类场景可被形象地称为“拟曼哈顿世界”。拟曼哈顿条件的设定保证了侧视图像与俯视图像之间存在“角点”与“垂直棱角线”相对应的关系。本定位技术的关键模块包括：1）从航拍俯视图像中提取建筑物轮廓边缘以及其上的角点，由此对城市的交叉路口进行编码；2）从地面侧视图像中提取建筑物的垂直棱角线，由此对车辆的位置进行编码；3）进行编码相似度计算，最后基于编码检索结果实现对车辆的定位。本项目将创新性地提出拟曼哈顿世界中基于曲线演化规律的特征检测算法、基于编码圆的特征编码与相似度计算算法。与现有的同类定位技术相比，本定位技术的算法实现简单，计算复杂度低，适合于处理大规模场景中的定位问题。同时，也能够被应用于符合拟曼哈顿假设的微环境场景（如集装箱码头）的机器人定位。

提出并研究了一款基于地面侧视图像与航拍俯视图像匹配的定位技术，可应用于“拟曼哈顿世界”进行定位与导航。在本项目中，我们以城市场景中对车辆的导航为典型背景开展研究，针对其中的关键问题分别提出解决方案，实现算法并完成算法的性能分析和评估。所取得的成果主要包括：1）在图像预处理步骤，为了增加图像的分辨率，研究了图像插值技术并提出了一系列算法；2）为了对城市的交叉路口进行编码，需要从航拍俯视图像中提取建筑物轮廓边缘以及其上的角点，为此，研究并提出了从航拍图像中提取建筑物角点的专门算法；3）为了对车辆的位置进行编码，需要从地面侧视图像中提取建筑物的垂直棱角线，为此，研究了直线段检测与垂直棱角线提取技术并提出了一系列算法；4）研究了基于编码相似度计算实现对车辆定位的策略，提出了一系列算法。5）作为本项目的拓展，研究图像中显著性目标检测、边缘曲线的提取及检索等技术，提出了一系列算法，可将本系统推广应用于非城市环境下基于显著性目标以及边缘曲线进行定位。与现有的同类定位技术相比，本定位技术的算法实现简单，计算复杂度低，适合于处理大规模场景中的定位问题。同时，也能够被应用于符合拟曼哈顿假设的微环境场景（如集装箱码头）的机器人定位。研究工作按照该计划执行，基本没有调整。目前取得的主要业绩包括：已发表学术论文25篇，其中大部分被三大检索系统收录；合作编著学术论著一本；已获得授权的发明专利2项；获得国际学术会议International Symposium on Intelligent Signal Processing and Communication Systems的最佳论文奖1项。另有多篇在投论文，多项发明专利正在申请中。