面向自动驾驶的汽车行驶轨迹预测

The aim of vehicle trajectory prediction is to predict the driving trajectory of a vehicle in seconds. This is important to an autonomous vehicle for making driving strategic decisions and avoiding traffic accidents. The previous works mainly concentrates on predicting the future trajectory of the autonomous vehicle itself. However, traffic accidents are often caused by illegal or unexpected driving behaviors of the nearby vehicles. Therefore, this project aims to predict the future trajectories of the neighboring vehicles for an autonomous driving vehicle through visual analysis from videos captured by the on-board cameras. To that end, we propose a unified trajectory prediction framework, which consists of four key components including visual saliency prediction, simultaneous vehicle detection and semantic segmentation, multi-object online tracking and future trajectory prediction. First, a novel saliency prediction model is prosed to detect salient regions by evaluating multi-view features. Then, the visual saliency is combined with the color video frame and the depth image to support the simultaneous vehicle detection and semantic segmentation by a multi-modal convolutional neural network. After that, the detection and semantic information as well as the historical trajectories are formulated in a Markov decision process scheme to track multiple vehicles for each frame, which is able to recover the occluded or missing vehicles in previous frames. Finally, a spatio-temporal graph is constructed and then combined with all the semantic information in a deep neural network to achieve a robust trajectory prediction.

车辆轨迹预测旨在获取车辆在未来几秒内的行驶轨迹。这项技术的重要性体现在它有助于自动驾驶系统做出正确的行为决策，从而有效避免交通事故的发生。之前的轨迹预测算法主要是估计自动驾驶汽车自身的未来行驶轨迹；然而，有许多交通事故是由于周围相邻车辆的驾驶突发异常所导致。因此，本项目通过对车载摄像机拍摄的视频进行视觉分析，主要研究自驾汽车相邻车辆的行驶轨迹预测问题，提出了一个由四个模块组成的统一的轨迹预测框架模型，包括视觉显著性检测，同步车辆检测和语义分割，多目标在线跟踪和未来轨迹预测算法。首先联合多视觉特征完成显著性预测，然后结合显著性特征、深度图和颜色输入训练一个多模态卷积神经网络从而同步实现车辆检测和语义分割，之后为克服尺度变化、短时遮挡或再现等问题，将利用车辆检测、语义信息和历史轨迹聚类实现马尔科夫框架下的多目标在线跟踪，最后，利用时空图模型和所有场景语义信息建立一个稳健的轨迹预测模型。

车辆轨迹预测旨在获取车辆在未来几秒内的行驶轨迹。这项技术的重要性体现在它有助于自动驾驶系统做出正确的行为决策，从而有效避免交通事故的发生。之前的轨迹预测算法主要是估计自动驾驶汽车自身的未来行驶轨迹；然而，有许多交通事故是由于周围相邻车辆的驾驶突发异常所导致。因此，本项目针对自动驾驶汽车周围出现单个或者多个行驶汽车，尤其是高速路中多目标参与交通，高速行驶的交通场景，提出一个对相邻汽车的行驶轨迹进行准确预测模型，同时利用实际场景数据进行算法性能测试与验证。具体而言，本项目通过对车载摄像机拍摄的视频进行视觉分析，主要研究自驾汽车相邻车辆的行驶轨迹预测问题，提出了一个由四个模块组成的统一的轨迹预测框架模型，包括视觉显著性检测，同步车辆检测和语义分割，多目标在线跟踪和未来轨迹预测算法。首先联合多视觉特征完成显著性预测，然后结合显著性特征、深度图和颜色输入训练一个多模态卷积神经网络从而同步实现车辆检测和语义分割，之后为克服尺度变化、短时遮挡或再现等问题，将利用车辆检测、语义信息和历史轨迹聚类实现马尔科夫框架下的多目标在线跟踪，最后，利用时空图模型和所有场景语义信息建立一个稳健的轨迹预测模型。本项目解决了运动车辆的特征提取与融合、支持语义分割和车辆检测的多任务深度网络设计、抗遮挡和尺度变化的多目标跟踪算法以及基于时空图模型的轨迹预测四个关键科学问题，取得科研成果包括：期刊论文14篇、会议论文5篇、发明专利14项，并培养博士2名、硕士9名，与项目计划书相比已全面完成并超出预期要求。本项目面向自动驾驶系统，所取得的研究成果致力于解决高速行驶场景下的车辆未来行驶轨迹预测问题，基于视觉传感信息提出一个具备实时性、准确性和鲁棒性的轨迹预测模型，为自动驾驶系统的行为决策提供更加合理、高效、准确的重要信息支撑，从而进一步推动自动驾驶系统相关技术的发展，在学术领域和应用领域都有很高的研究价值和现实意义。