面向无人车的全景彩色立体红外相机构建及其在越野环境感知和自主定位中的应用研究

Environmental perception is one of the key research topics for unmanned ground vehicles (UGV), due to the effect of severe weather, variable climate, extreme illumination condition, and complex terrain, the existing single on-vehicle sensor cannot work as effectively as in normal conditions in sensing and understanding environment by UGV. To address this problem, in this application, we investigate on a design of a new type of hybrid camera, which integrates visual information of visible-light and long infrared spectrum. This camera can produce panoramic images of depth, RGB and infrared. With this camera, we propose several methods to enhance the capability of UGV in sensing and understanding rural environment, which includes detecting traversable regions, obstacle recognition etc., and also a couple of methods to increase the accuracy of visual odometry in daytime and at night based on feature matching and dense pixel warping strategies. The research output will be integrated into the environment perception module of our UGV in the end.

环境感知是无人驾驶汽车领域中的核心问题和研究热点之一。现有的单类车载传感器（如激光雷达，相机等）在恶劣天气、极端光照、复杂地貌等条件下不能有效地工作。针对该问题，本申请书将首先提出一种新型的全景彩色深度红外混合相机的原型设计，该相机能够捕捉到比现有的相机模型更加丰富的感知信息，这些感知信息包含可见光图像，深度图像，红外图像以及这三种信息的全景图像，同时能够在不同的光谱图像之间实现像素级的配准。基于此相机，本项目拟研究无人车越野非结构化道路环境感知和导航的问题，主要包括可行驶区域检测、障碍识别、以及导航策略等；拟研究无人车在GPS信号受限情况下基于视觉的自主定位方法，主要包括基于特征匹配的粗定位和图像配准的精定位方法。本课题的研究成果将集成到无人车环境感知系统中，为非结构化环境感知提供硬件支持和技术支撑。

本项目旨在探索能应用于全时段无人驾驶的传感器研制及其应用。研究成果可以总结为三部分。第一部分为广角立体彩色相机的设计与研制，其中单个混合相机可以提高不同时段的环境感知精度；第二部分为基于多源多谱传感器的道路场景环境感知，主要包括激光雷达和相机的标定，激光雷达直方图技术及其拓展，以及基于双目视觉的道路场景感知；第三部分为基于多传感器的SLAM研究部分。本项目探索研究成果，可以为无人系统或者移动机器人的全时段自主运行提供感知保障。