复杂环境多鱼眼相机协同结构化vSLAM及评估体系研究

The project focuses on multi fisheye camera collaborative semi-dense structured vSLAM in complicated environment for intelligent vehicles. The research contents include accurate fisheye semi-dense structured vSLAM, multi cameras collaboration, semi-static environment loop closing, dynamic environment disturbing and systematic evaluation benchmark. It proposes to model the edge structure using CRF (Conditional Random Field) to suppress the matching ambiguity, hereby to solve the drift problem of semi-dense vSLAM, thereafter establish a line segment structured vSLAM. For the semi-static environment the “experience bank” map model is proposed to track the evolution of the environment’s texture and structure. Based on the “experience bank” map model the vSLAM could run in semi-static environment. A novel motion segmentation and reconstruction strategy is proposed to solve the moving object disturbing problem. The relative scale problem between the moving objects and the static background during map fusion is solved based on plane motion geometric constraint; The multi cameras works collaboratively so that their maps are fused together optimally to give a 360 degree around map, which is more reliable and no blind spot exists; The advanced CG technology is adopted to automatically generate photorealism benchmark datasets with various ground truth labels for various modules of vSLAM, which provides an innovation solution for vSLAM debugging and systematic evaluation.

本项目面向智能车复杂环境感知开展vSLAM及评估体系研究，研究内容包括鱼眼相机半稠密结构化失准、多相机协同优化、半静态环境检测、动态环境干扰、全流程评估体系等问题。针对半稠密系统初始化风险及误差抑制问题，提出应用CRF对边沿特征的连续性建模，抑制由于局部相似性引起的匹配歧义，从而解决半稠密系统失准问题，并建立结构化地图；针对半静态环境提出了“经历库”地图模型以捕捉表观和结构的演化规律，针对动态环境提出了新的运动分割与运动重建方案以完成对独立运动物体的结构估计与轨迹追踪，突破了传统vSLAM只能感知静态背景的框架约束；通过对多鱼眼相机协同系统进行地图优化融合建立360度全视野地图，提供无盲区的环境感知功能；综合分析全流程模块级评估体系需求，创新性的利用CG技术实现富真值数据库自动生成系统，极大的降低了标准测试数据库的制作成本，有利于提高各模块的开发效率，也为横向对比评估提供参考标准。

本项目面向复杂驾驶环境中的智能车辆环境感知需求，开展驾驶环境下结构化视觉定位与地图构建系统设计及评估体系研究，为智能车的控制决策系统提供扎实可靠、丰富完善的环境感知信息。本项目围绕鱼眼相机半稠密重建系统初始化鲁棒性较差、半稠密建图模块缺乏地图管理机制、vSLAM无法利用环境中特征标识物、缺乏全流程评估体系等科学问题展开研究。提出了一套完整的驾驶环境鱼眼相机半稠密vSLAM系统，在此系统基础上构建了高可扩展性vSLAM算法基础框架，并开发了对于智能驾驶和驾驶员辅助系统有较大意义的两个视觉应用。本项目进一步研发了基于环境特殊标识物的结构化vSLAM系统，建立了一套vSLAM全流程评估体系支撑前述视觉算法的开发与性能评测。本项目的主要研究性工作体现在：针对半稠密系统复杂驾驶环境初始化风险问题，提出利用稀疏vSLAM系统作为半稠密重建系统的前端，在稀疏vSLAM系统的关键帧上生成半稠密点云，利用稀疏vSLAM系统中较为成熟的相机位姿估计流程和初始化流程替代半稠密vSLAM系统中的随机赋值初始化机制，提升半稠密系统在复杂驾驶环境中的鲁棒性。针对半稠密系统缺乏地图管理机制的问题，提出利用稀疏vSLAM系统的稀疏三维特征点作为种子，围绕稀疏三维特征点进行半稠密重建，利用稀疏三维特征点地图将半稠密点云组织化、结构化，并利用稀疏三维特征点的环境位置信息缩小半稠密匹配的搜索范围，赋予半稠密点云地图管理机制，提升系统整体的环境感知能力。针对vSLAM系统无法利用环境中具备语义的特征标识物的问题，设计了一套能充分利用环境中特征标识物进行定位和地图构建的vSLAM系统，并针对vSLAM系统定位和地图构建的独特需求，提出了参数化环境中特征标识物的关键结构的方法，使得vSLAM能够创建特征点-特征标识物联合地图。在vSLAM系统中融合特征点和特征标志物，使得vSLAM系统可以利用环境中结构化信息，不仅提升了相机定位的精度，也改善了vSLAM系统在动态环境下定位的健壮度和准确度。综合分析全流程模块级评估体系需求，创新性的利用CG技术渲染生成多种复杂环境中的高逼真度富真值数据库，极大的降低了标准测试数据库的制作成本，可以实现对各种视觉算法进行快速方便的功能验证和性能校验，有利于提高各模块的开发效率，也为横向对比评估不同vSLAM系统算法提供统一参考标准。