基于深度信息和深度学习的车载视觉行人检测方法研究

To meet the requirements of the automobile active safety for on-board car vision system, there are some problems to be solved such as multi-scale pedestrians due to distance variety, low quality image caused by illumination and appearance deformation as the pedestrians behave differently. we study the regions of interest in the on-board car vision system by the complementary of the color and depth information, reveal the mechanism of the fusion of the color and the depth information,extract the essential characteristic that can depict the multi-scale,deformable and illuminated pedestrians by unsupervised feature learning through convolutional neural networks and overcome the difficulties that the traditional methods cannot do. We study the mechanism of the map from the low level features to the high level pedestrian concept,develop the deep learning model based on color and depth information unified optimization and devise cascaded convolutional neural network structure.According to priori knowledge of on-board car vision system,we analyse and speed up the above algorithms.Finally,we construct the pedestrian detection framework in movable background that can reduce the accidents probability and enhance the automobile active safety.

面向车辆主动安全系统中行人检测的应用需求，针对由行人距离远近所产生的目标多尺度、光照变化所产生的图像低质量、人的行为差异所造成的目标多形变以及单一视角所产生的遮挡等问题，拟：1）通过分析彩色图像和深度信息的视觉融合规律，借鉴人类视觉系统关注目标的原理，研究融合多模态信息的立体视觉感兴趣区域定位和追踪方法；2）利用卷积神经网络无监督特征学习的特性，提取不同尺度、光照、形变和视角下行人的本质特征，克服传统方法在行人特征表达方面的不足，并通过深度学习的理论和方法，研究复杂背景下行人由底层特征到高层概念的映射机制，建立基于立体视觉多模态特征联合优化的行人检测深度学习模型；3）设计级联的卷积神经网络结构，并借助于车载视觉的先验知识，分析和优化检测算法；在上述研究基础上建立面向车载视觉应用的行人检测框架，解决移动背景下的行人检测问题，降低交通事故发生概率，提高车辆的主动安全。

本项目主要针对交通场景下的行人检测方法进行研究，项目的研究成果可以用于智能监控与辅助驾驶等领域，研究成果的实施对于保障城市交通安全具有重要意义。.项目的研究内容可以分为理论分析部分和试验验证部分。首先，在理论上本项目证明了深度学习相关方法，在复杂交通场景下的目标检测方面具有很好的检测效果；进一步结合深度融合信息，可以实现稳定和准确的行人检测和行人识别。其次，在试验验证方面,本项目和合作单位通过具体工程实施的方式，在深圳、杭州等多个城市开展了应用推广，并且取得了较好的社会反响，进一步印证了本项目方法的科学性和有效性。本项目发表3篇SCI/EI检索学术论文，申请并获得授权发明专利3项，软件著作权1项，获得中国智能交通协会科学技术奖一等奖1项。.在该项目的资助下，本项目的研究成果针对交通场景下的行人检测需求，综合运用了视频处理、深度信息处理、信息融合等技术，研究并解决了复杂环境下的行人检测、行人异常行为感知、复杂环境下的高密度客流检测、行人闯红灯违法行为检测与警示等问题，研发出了面向复杂交通环境的行人感知系统与装备，形成了多项具有自主知识产权的专利技术，实现了两类典型复杂交通环境下行人感知和交通管控的有机结合，有效提升了管控精细化、系统化和智能化程度。相关研究成果在国内处于领先地位。