基于时空显著性与可变部件模型的视频车辆感知方法研究

Video-based vehicle detection is the key composition of traffic information perception. It is also one of the most important foundations that can influence the function effectiveness of Intelligent Transportation System (ITS). However, in complicated urban environment, traditional motion analysis based foreground extraction models often failed due to heavy traffic congestion and intermittent stagnation. Meanwhile, heavy occlusion between vehicles often leads to poor accuracy of vehicle recognition algorithms. Focusing on these problems, the research of Spatial-Temporal visual saliency based foreground extraction method is firstly carried out. Self-Information theory will be applied to build saliency measurement function and Spatial-Temporal fusion visual saliency model will be deduced in conditional probability framework so as to investigate the fundamental problem of foreground and background separation in video. Based on that, a foreground detection method in city scene with illumination variety robustness can be generated. Secondly, the research about vehicle recognition method in city environment is taken out based on Deformable Part Models (DPM). A general vehicle DPM will be trained with un-occluded vehicle samples. Then, Conditional Random Field (CRF) theory is utilized to ascertain the association of visibility between parts of the vehicle model so as to improve the detection accuracy of DPM for occluded vehicles. At last, the proposed algorithm will be verified and modified in real video monitoring platform. Overall, the achievements of this project will provide new ideas and methods to solve the problem of vision based vehicle recognition in complex urban environment.

视频车辆检测是交通信息感知的关键环节，是智能交通系统（ITS）功能有效发挥的一个重要基础。复杂城市环境下，车流拥挤、间歇性停滞导致常用的基于运动分析理论的前景提取模型适应性受到限制，同时车辆间存在严重遮挡使得车辆识别的准确性大幅下降。针对这些问题，本项目首先研究基于时空视觉显著性的前景提取方法：采用自信息构建显著性度量函数，并在条件概率框架下推导时空域融合的视觉显著性模型，探索视频序列中前景和背景分离的本质问题，获得适用于城市场景对光照变化鲁棒的前景提取方法。其次，研究基于可变部件模型的车辆识别方法：采用无遮挡车辆样本训练出一般性的车辆可变部件模型，并利用条件随机场理论分析车辆模型中各部件可见性之间的内在联系，修正其得分机制，以提高车辆可变部件模型对遮挡车辆的识别准确率。最后，通过实际监控平台对所述方法进行验证和完善。项目的研究成果可为解决复杂城市环境下视频车辆识别难题提供新的思路和方法。

视频车辆检测是交通信息感知的关键环节，是智能交通系统（ITS）功能有效发挥的一个重要基础。复杂城市环境下，车流拥挤、间歇性停滞导致常用的基于运动分析理论的前景提取模型适应性受到限制，同时车辆间存在严重遮挡使得车辆识别的准确性大幅下降，该薄弱环节严重制约了ITS在城市交通中作用的有效发挥。项目首先研究了基于时空视觉显著性的前景提取方法：考虑高低层次融合的特征加工方式，采用信息论的香农自信息量对特征进行非线性变换获得显著度，实现低值区间非线性拉伸、高值区间非线性压缩，拉大前景与背景特征分布的距离，并在条件概率框架下推导时空域融合的视觉显著性模型，获得适用于城市场景对光照变化鲁棒的前景提取方法，解决了视频序列中前景和背景分离的本质问题。其次，项目研究了基于可变部件模型的车辆识别方法：在传统可变部件模型基础上，采用无遮挡车辆样本训练出一般性的车辆可变部件模型，利用条件随机场理论分析车辆模型部件可见性之间的内在联系，修正其得分机制，提高对遮挡车辆的识别效果，整体上提升了车辆可变部件模型对车辆的识别准确率。最后，搭建了视频检测的云计算平台，利用Matlab软件在云计算平台上进行前景提取与车辆识别算法的开发，并将算法转化为VC/C++代码在道路监控平台的视频处理卡上进行移植和验证，测试表明，本项目所提算法较现有方法在视频车辆识别率方面具有领先优势，为解决复杂城市环境下视频车辆识别难题提供了支撑。. 项目研究共发表论文29篇，其中SCI检索论文18篇，EI 检索论文8篇；申请国家发明专利16件，授权1件，另获实用新型3件；获2016年中国公路学会科学技术一等奖1项、教育部科技进步二等奖1项，以及中国汽车工业科学技术奖（优秀青年科技人才奖）。协助培养博士研究生2名、硕士研究生8名。项目负责人入选中国科协青年人才托举工程、江苏省“六大人才高峰”培育对象、江苏大学青年学术带头人培育人选等。