多层次视觉特征学习新方法及在环境感知中的应用研究

Environment perception, especially visual perception, of an Unmanned Ground Vehicle (UGV) is the key factor to its superior performance. This project aims at building an advanced environment perception system and developing novel approaches for the hierarchical visual features learning and representation. The main tasks of this funding application include:(1) Detailed analyse the framework of the hierarchical visual features learning and its inherent nature of neural computation; (2) Investigate the slow visual features learning methods from sequence images and establish the view-invariant features and representation to improve the ability of identify object in a dynamic traffic scene; (3) Investigate hierarchical visual features via multispectral images for semantic scene recognition tasks in the perception system of UGV; (4) Developing a novel hieratical spatial-temporal features learning method and applied to the behavior recognition tasks such as identify traffic police actions recognition and abnormal behavior. The project has both theoretical and application values. It is a nationally and internationally significant project. The outcomes of this project are critically important to the development of unmanned ground vehicle technology.

无人驾驶车辆的环境感知能力，特别是视觉感知能力是决定其性能优越的关键性因素。本项目针对无人驾驶车辆视觉环境感知系统这一具体应用，研究新颖的多层视觉特征学习与表示方法。主要研究内容包括：(1) 深入分析多层次视觉特征学习与表示理论和其蕴含的神经计算本质；(2) 研究满足慢速性约束的多层次序贯数据的特征学习方法，建立小角度旋转与视角变化下的不变性目标描述特征，提高动态环境下的特定目标识别能力；(3) 研究利用多源图像信息建立多光谱的层次化特征学习方法，并应用于环境感知中的语义场景识别任务；(4) 研究时空数据驱动下的多层次特征学习方法，并应用于环境感知中的运动行为识别任务：交警动作识别和异常行为识别。该项目在进行理论创新的同时将完成能够实现相应任务的环境感知系统，所以说项目研究有较强的理论意义和应用价值，并且对于推动我国无人驾驶车辆技术的发展有着重要的意义。

本项目的研究针对无人驾驶车辆的环境感知问题，研究了多层视觉特征的学习与表示方法、序贯数据的特征学习方法以及多源信息的特征融合方法。主要研究内容和成果包括：（1）系统地总结了多层视觉特征学习与表示理论；（2）研究了小角度旋转与视角变化下的不变性目标描述特征，提出了一种基于底层神经元通道特征的目标检测方法，为了验证算法，建立了大规模路标数据库，该检测方法在行人和路标检测国际公开的和自建的数据库中均取得了优异的性能；（3）深入挖掘多层次视觉特征的神经计算本质，针对纹理-结构属性解耦描述的特征提取问题，提出了一种新颖的中层特征提取算法，该算法在多个国际公开数据库中均得到了更好的识别率；（4）研究了慢速性约束的多层次序贯数据，深入挖掘层次间的特征递进转化关系，提出了一种基于级联结构多层次视觉特征的目标跟踪方法以及一种基于马尔科夫随机场的层次化动态目标检测方法，所提方法在国际公开数据库中的性能优于目前主流的算法；（5）研究了时空数据驱动下的多层次特征学习方法，融合图像表观特征和结构信息，提出了一种基于关键点亲和场的交警动作识别方法，该方法在交警动作识别数据库中获得了较高的识别准确率；分析图像帧间的运动流场信息，提出了一种基于多层次信息时域融合的行为识别方法，该方法在国际公开数据库中的性能优于主流的算法；（6）研究了高层特征结构化学习方法，提出了一种基于结构化随机森林的道路检测方法；研究了多源信息的层次化学习方法，提出了一种基于混合条件随机场的道路检测方法，该方法在国际公开数据库中性能优于同类算法。本项目的研究成果既包含多层次特征学习与表示的理论创新又强调研究成果的实际应用价值，相关研究成果成功地应用于无人驾驶平台，并表现出良好的性能。项目组搭建的无人驾驶系统实验平台在近年的国内无人车竞赛中名列前茅。本项目的研究对解决无人驾驶的环境感知问题，以及推动我国无人驾驶技术的发展具有重要意义。