基于自顶向下任务驱动与选择性反馈的交通场景感知与实现技术

This proposal is aiming to study the key techniques of salient object perception in a wide scene, which are expected to reduce the computational cost in processing visual information and improve the efficiency of environment perception. The biologic selective attention, visual feedback scheme and task hierarchical knowledge will be introduced into the framework of traffic environment perception and expression for autonomous vehicle. Surrounding the problem of information feedback in the visual selective attention in complex environment, and referring to the cognitive mechanism in the biological vision system, we will explore the efficient computational algorithms in the cooperation of visual information and priori behavior knowledge. In this project, we will build an on-board visual perception platform which has multiple cameras working cooperatively, construct a hierarchical driving task model and multi-viewpoint cooperation knowledge base, and research on the salient object detection model based on visual attention. Making use of object saliency, space-time constraints and the dynamic difference between the objects and environment, we will also study robust algorithms for tracking salient object based on the probabilistic graphical model. We will construct multi-viewpoint saliency fusion based scene perception and expression model, using statistical learning techniques. The implementation of this project will provide real-time, high efficient salient object perception algorithms in a wide scene, which will give feedback to the driving decision module. Besides that, research on general scene perception can also benefit from it.

本项目旨在围绕复杂环境中视觉注意选择中信息反馈的科学问题，借鉴生物视觉系统的认知机理，探索视觉信息与先验行为知识协同的有效计算途径，将生物选择性注意、视觉反馈机制与任务分层知识协作引人到无人车辆交通场景感知与表达的计算框架中，研究大场景中显著性目标感知的关键技术，降低实时视觉信息处理的时间复杂度，提高机器感知的效率。构建多相机协同工作的车载视觉感知平台。建立完善的驾驶任务分层模型与多视点协同知识库。研究基于视觉注意的显著性目标检测模型。在利用目标的显著性、时空约束、以及目标与环境的动态差异性，结合概率图模型，研究鲁棒的显著性目标跟踪模型。利用统计学习，结合多类传感信息，建立多视点显著性融合的场景理解与表达模型。通过本项目的组织与实施可以为无人车在复杂的交通大场景中提供实时高效的显著目标感知，为驾驶决策提供及时的信息反馈，对一般环境中的场景感知研究具有重要的借鉴意义。

交通场景感知是无人车辆研究中的一个重要方面。本项目从认知理论与方法出发，建立相应的新的计算模型与方法，使无人车辆能够充分利用传感器 信息来感知环境，并能进行有效的处理和场景理解，对实现基于视觉认知计算的无人车辆具有极为重要的应用意义。..本项目按照研究计划主要完成：完成面向交通场景感知的关注目标检测的研究，提出了一种基于标定激光的非合作球状目标精确测量方法；一种面向车辆行为预测的单目3D位姿估计系统；一种借助极弱监督的视频目标发现与协同分割方法；一种基于毫米波雷达与单目视觉融合的道路车辆检测与跟踪算法；完成了显著性计算方法的相关研究，提出了一种适用于显著性目标检测的稠密残差金字塔网络模型，提升了显著目标的检测精度；一种基于多级卷积神经网络的全局-局部优化模型的显著性检测算法；一种基于结点熵率的多尺度非结构化点云显著性检测；一种用于显著性目标检测的多尺度循环速度特征和显著性特征的方法；完成了多视点融合的相关关键技术的研究，分析研究了单目相机位姿估计歧义性和视觉测量系统的误差情况，提出了一种溯源分析方法；提出了一种基于高精度运动平台的多相机标定方法，为多视点融合提供了关键技术的保证；完成了交通场景目标状态与几何属性的研究工作，提出了一种自适应神经网络滤波器；一种针对弱纹理非刚体表面的无模板三维重建方法；研究了一种物体表面裂痕半自动检测算法；搭建了实车实验平台，并构建了多层次的驾驶行为知识库，为本项目算法的验证和测试提供了有效支持。相关研究成果在“中国智能车未来挑战赛”西安交通大学参赛车辆系统中得到成功应用。..在项目执行期间，项目组多名成员赴欧美等国家交流，并参加国内外著名学术会议。在此项目的资助下，项目组成员先后在国内外学术刊物上共发表学术论文21篇，其中SCI检索的国际期刊3篇，高水平国际会议18篇，申请国家发明专利9项。以此为基础，项目组先后培养了3名博士研究生和17名硕士研究生。