基于语义点云的智能汽车环境感知与建模

Environment perception and modeling is one of the active topics in research of intelligent vehicles. According to the characteristics of self-localization for intelligent vehicles, this project proposes semantic point cloud based environment modeling. we propose Generative Adversarial Networks (GAN) based semantic segmentation in the panorama. Then semantic point cloud map can be generated with semantic panorama and point cloud from laser scanner. Then, precise and robust localization will be achieved by registering the live data with semantic point cloud map. The correspondence relies on set and graph based theory, which can solve the problem of real-time property in point set registration problem. For the problem of big degree of distortion of vehicle mounted fish-eve cameras, the unified expression of dynamic targets is explored to improve the detection and tracking results. In the framework of reinforcement learning, the relationship of selection of unlabeled samples and property of classifier is studied. The strategy of unlabeled samples selection is established based on Markov Decision Process, which can help to select the labeled samples that are beneficial for training. The precision and robustness of dynamic objects detection under complex situations can be also improved based on this method. Based on the semantic analysis of driving environment, a systematical and complete theory of semantic point cloud and environment perception is proposed in this project. Based on the foregoing research, a novel perception of environment modeling is proposed, which lays a solid foundation for research and application of modeling perception for intelligent vehicle.

环境感知与建模是智能车研究中的核心科学问题之一。本项目针对智能汽车自定位的特点，提出了一种基于语义点云的环境模型，采用生成对抗网络(GAN)进行环境语义理解，并结合对激光雷达和全景图的联合标定，建立行车环境的语义点云地图。在此基础上，提出一种基于集合论与图论的语义点云配准算法，对车辆自身姿态与位置进行准确、鲁棒地定位。与此同时，针对车载鱼眼相机大畸变问题，研究不同畸变程度动态目标的统一特征表达，并探索基于弱监督预训练方法的深度网络初始权值计算方法。在强化学习框架下，挖掘无标记样本选取与分类器性能之间的关联机理，建立基于马尔科夫决策过程的无标记样本选取策略模型，获得对训练最有利的标记样本，提高复杂工况下动态目标检测性能。本项目通过对行车环境的语义分析，建立系统完整的语义点云模型与环境感知理论。基于以上研究结论，提出对环境建模的新认知，为智能汽车环境感知技术研究与应用建立理论基础。

环境感知与建模是智能车研究中的核心科学问题之一。本项目重点研究了基于语义信息的环境感知和建模方法，并针对环境语义理解、语义地图创建、语义定位方法以及动态目标检测方法开展研究。1）本项目提出了一种高效的立体匹配和边缘检测多任务学习网络模型EdgeStereo，并由此获得基于全景图的高质量环境语义理解结果。该模型能够同时获得场景的视差图像和边缘图像，两个任务通过交互可以互相提升预测精度，在KITTI两个基准测试集取得了最佳效果；2）本项目提出了一种语义标签传递方法和点云语义分割方法，来创建大范围的语义点云地图，通过基于分割的投票策略来解决语义错误标签传递问题，同时提出一种基于注意的k近邻方法消除三维体素引起的量化误差，该方法在NYUv2等基准测试集取得3.7%的精度领先；3）本项目提出新颖的点云关键区域提取方法ROI-Cloud，由此基于语义地图实现准确的车辆定位。通过一种体素化立方体集解决了密集的城市环境中点云冗余的问题，该方法能在精度和速度上均超越现有方法；4）提出空间变换网络OSTN以实现鱼眼图像上准确的行人检测。空间变换网络可以矫正扭曲的行人特征，极大减轻检测器的压力，在ETH等基准测试集上相比于经典的目标识别算法精度可提升6.9%；5）提出了双路残差金字塔网络的车辆检测方法，以实现动态环境下准确的车辆检测。该方法利用残差结构传递特征，引入注意力机制加强有效特征提取，最终在KITTI等基准测试集上取得明显的精度提升。基于以上研究结论，本项目提出对环境建模的新认知，为智能汽车环境感知技术研究与应用建立了理论基础。本项目研究期间共计培养人才43名，基于项目研究成果共计发表了论文81篇，授权专利28项，并获得上海市技术发明一等奖、江苏省科学技术一等奖等奖项。本项目实现了多项技术转化及应用，包括无人跟随车队、无人物流车队和井下铲运无人巡检车的落地应用。