基于深度学习的交通环境理解与目标检测方法研究

Aiming at the requirements of unmanned driving and inspired the biology vision mechanism such as hierarchy, abstraction through multi-layer processing and contextual integration, this project makes use of deep learning as a main tool and study the following methods based on our recent research results in computer vision and intelligent transportation fields: traffic scene parsing and understanding, lane detection, traffic sign detection and recognition, traffic scene classification, and human and vehicle detection. We will examine and evaluate the developed methods on real data and international public datasets. We will also conduct system integration and verification.

本项目面向无人驾驶的行驶需求,借鉴生物视觉机理,特别是人视觉皮层信息处理的多层、逐层抽象、上下文融合等特性，利用近年来发展起来的深度学习方法作为主要工具，并以项目组近年在计算机视觉和智能交通领域取得的各项成果为基础,研究交通环境的解析和理解方法，研究车道的检测、路牌的检测与识别、交通场景的分类等方法，研究基于深度学习的行人和车辆检测方法。我们将利用真实数据和国际公开数据库，对所开发的方法进行测试。在此基础上，进行集成验证。

本项目借鉴生物视觉机理,特别是人视觉皮层信息处理的多层、任务共享、上下文融合等特性，利用近年来发展起来的深度学习方法作为主要工具，并以项目组近年在计算机视觉和深度学习领域取得的各项成果为基础,研究开发基于深度神经网络的交通环境的解析和理解方法，研究车道的分割、路牌的检测与识别、场景的分类等方法，研究基于深度联合优化的行人和车辆检测方法。.项目取得的主要成果包括以下几个方面：.1）提出利用全卷积神经网和反卷积神经网络进行交通场景解析，通过多尺度融合全局和局部特征，优化网络结构设计提高解析效果。利用KITTI-ROAD数据库对所开发的模型进行验证，取得了良好的效果。.2）提出区域共生特征用于场景和纹理分类，该方法速度很快，仅仅需要30ms,就可处理一副图像。开发混合卷积神经网络，该网络融合卷积和全连接层特征，判别性更强，在多个大规模场景分类数据库如SUN，MIT-Indoor取得世界先进的识别率。.3）提出开关深度网络（Switchable Deep Network）模型 用于行人检测，在标准行人检测数据集Caltech和ETH上，取得较传统方法更好的结果。提出基于卷积神经网络的场景文字检测方法，在国际公用数据库ICDAR2005 和 ICDAR2011 上,取得较传统方法更好的评测结果。训练了一个7层的卷积神经网络模型用于交通标识识别，在GTSRB测试数据集上取得98.9%的分类准确率。.4）提出融合多种局部特征，视频的多视角超向量表示方法，在视频行为识别中取得了良好的效果。提出Dynamic poselet模型用于视频中人的姿态检测。.课题组参加了2015年ImageNet LSVRC 2015竞赛场景分类任务，取得了世界第二名的成绩。课题组还参加了由国家自然科学基金委员会信息科学部、重大研究计划“视听觉信息的认知计算”指导专家组和中国自动化学会主办的全国模糊图像处理竞赛，参加了“交通场景图像增强”和“交通标志图像识别”两个任务（其中第一个任务为单独组队，第二个任务与清华大学、南京理工等合作组队）。两个任务均进入决赛，第二个任务取得了第二名。.基于以上成果，我们已经发表了23篇学术论文，其中18篇论文发表在国际一流刊物和会议如T-IP、CVPR、ICCV、ECCV、ACM-MM等。申请发明专利7项。