基于深度学习的智能电动汽车视觉认知与控制关键技术研究

Intelligent electric vehicle has become an important strategic direction for the automobile industry to transform and upgrade. Based on the on-board vision sensor, this project simulates the driver 's "attention - reasoning - decision - learning" process to explore the artificial intelligence model based on the deep neural network and study the key technology of visual cognition and automatic driving control of electric vehicle. First of all, combining the optimal cover segmentation tree for more accurate class profiles, a "multi scale CNN+ parallel multi task CNN" deep learning network which takes the RGB-D image as input will be established to study the pixel-level traffic scene classification and the target parameter identification of roads, vehicles, pedestrians, traffic signals and signs, and realize the semantic analysis of traffic scene based on visual cognition. Then, a bidirectional LSTM network will be established, with the semi - dense semantic graph as input, learning to imitate human driving decision-making ability from the driver's driving data , predicting the optimal driving strategy with Reinforcement Learning, so as to achieve automatic control of electric vehicle. At last, the integrated intelligent electric vehicle system will be completed and the road test will be carried out to perform comparative analysis and algorithm optimization. Through the studies in the project, the on-board vision cognitive implementation framework will be constructed, and the electrification and intellectualization development of the modern vehicle will be promoted.

智能电动汽车是当前汽车产业转型升级的重点战略方向。本项目立足车载视觉传感器，模拟驾驶员的“注意—推理—决策—学习”过程，探索基于深度神经网络的类脑人工智能模型，研究电动汽车视觉认知与自动驾驶控制关键技术。首先，建立“多尺度CNN+并联多任务CNN”的深度学习网络，以RGB-D图像为输入，结合最优覆盖分割树以提高不同类别轮廓区分的准确性，研究像素点级别的交通场景分类和道路、车辆、行人、交通信号及标志等目标参数的识别算法，从而实现基于视觉认知的交通场景语义解析；然后，建立双向LSTM网络，以半稠密语义图为输入，从驾驶员驾驶数据中学习模仿人类的驾驶行为决策能力，结合强化学习预测最优驾驶策略，实现电动汽车的自动驾驶控制；最后，完成智能电动汽车系统集成，开展道路实验，进行算法对比分析和优化。通过本项目研究，构建基于级联深度学习的车载视觉认知与控制实施架构，并促进现代汽车的电气化和智能化发展。

本项目立足车载视觉传感器，模拟驾驶员的“注意—推理—决策—学习”过程，探索基于深度神经网络的类脑人工智能模型，研究电动汽车视觉认知与自动驾驶控制关键技术，由交通场景语义解析、驾驶策略预测和自主驾驶控制三个关键环节组成。.在语义解析部分，提出编码器层共享的并联多任务卷积神经网络结构，引入多尺度结构兼顾模型计算的实时性和精度，通过通道注意力模块提高小目标的检测精度，在跟踪行人、车辆等移动目标位姿的基础上，提出结合图卷积网络（GCN）和随机森林分类器的行人意图识别架构，实现更高层次的环境理解，从而提升后续决策规划对复杂环境的适应性。.在驾驶策略预测部分，在语义地图构建基础上，提出一种基于矢量化地图和环境语义信息的交通场景栅格化重建方法，作为自动驾驶决策规划的依据。结合多头注意力模块在时间序列数据挖掘中的优势，提出基于交互预测的决策规划模型，能够综合考虑交通环境信息和智能车辆周围移动目标的轨迹状态信息，生成智能车的决策规划轨迹。.在自主驾驶控制部分，完成智能电动汽车系统集成，设计用于车辆自主导航的纵向和横向控制器，开展道路实验，对相关算法模型进行对比分析和有效性验证。.通过本项目研究，构建了基于级联深度学习的车载视觉认知与控制实施框架，在深层次环境理解及基于交互预测的智能车决策规划领域形成关键创新，能够有效提升智能电动汽车本体的智能化程度，促进现代汽车的电气化和智能化融合发展。.通过本项目的顺利开展，共发表学术论文35篇，其中SCI检索15篇，EI 检索31篇，包含车辆及交通领域的TOP期刊论文1篇，智能车辆领域顶级学术会议3篇，获《通讯学报》年度优秀论文1篇，省优秀硕士毕业论文1篇，大会特邀报告1次；授权国家发明专利6项，培养研究生22人。.基于本项目成果，已完成环境感知领域企业委托项目1项，正在开展预测与决策领域企业委托项目1项，形成了良好的应用前景。