面向智能视觉监控的大规模慢特征学习研究

Effective feature representation is very important for developing intelligent visual surveillance applications. Current hand-crafted features, e.g., Histogram of Oriented Gradients (HoG), has achieved superior performance in pedestrian detection and tracking. However, it is still a hard problem to adapt the features to the variances in surveillance scenes. In this project, we will focus on the scalable representation learning for intelligent visual surveillance. Firstly, we will collect a large scale moving objects dataset in long-term surveillance scenes by common motion detection and tracking methods. Then, based on slow feature analysis (SFA) which can learn invariant features from sequential data, we will develop a scalable bottom-to-up representation learning method which is guided by the environment constraints in surveillance scenes to obtain multi-layers slow features of moving objects in surveillance scenes. Finally, according to the different surveillance tasks, we will further optimize the generic slow features to promote the performance and efficiency of the recognition algorithms. Through the research in this project, we will develop a whole set of scalable slow feature learning methods for visual surveillance. These methods are highly valuable for designing the adaptive recognition algorithms to handle the variances in surveillance scenes, so that the great progress in intelligent visual surveillance can be achieved.

有效的特征表达对于完成视觉监控中的智能识别任务非常重要。人工设计特征（如方向梯度直方图等）已在行人检测、运动跟踪等监控识别任务中取得较好效果，但依旧不能完全解决由于监控场景变化而带来的环境适应性问题。本课题将借鉴视觉表达学习最新研究成果，开展监控环境下的大规模视觉表达学习研究。首先，我们将利用一般的运动检测、跟踪技术，从长时监控环境中收集海量运动目标数据；之后，我们将基于慢特征分析，这一针对有序样本的不变性特征学习方法，并利用监控场景环境约束所提供的弱监督信息，自下而上地进行层级式表达学习，获取监控环境下运动目标的多层慢特征表达；最后，我们将针对视觉监控识别任务，对一般性的慢特征做进一步优化，以提升识别性能和效率。通过本课题的研究，我们将建立一整套面向视觉监控的大规模慢特征学习方法，该方法将对开发自适应监控环境变化的智能识别算法带来极大帮助，从而有力推动智能视觉监控的研究发展。

在基金委课题（批准号：61473290）资助期间，课题组根据主要研究内容，包括：大规模监控环境图像数据库建设、大规模慢特征学习方法以及围绕视觉监控中应用任务算法研究，开展了一系列的研究工作。在本领域重要学术会议CVPR、ICME等以及本领域重要期刊IEEE TIP，PR等发表论文15篇（CCF B类以上会议或期刊论文7篇），申请发明专利1项，待申请专利2项，基于研究成果获得横向课题1项，技术许可1项，完成预期研究目标。主要成果包括：1）建立了具有丰富语义标注的大规模行人数据集（RAP数据集），对8万余张真实环境行人图片进行了72类视觉属性标注和2589个行人ID的再识别标注，并建立了相应算法测试规范，以上数据代码均已公开，已有国内外160多个单位260余次申请使用，成为行人属性识别的基准数据集之一。2）在大规模慢特征学习理论方面，课题组研究了基于关系发现的慢特征学习方法，用于解决慢特征学习中样本近邻关系图的可靠构建问题，提出一种基于交叉熵的慢特征学习与近邻关系挖掘的联合优化方法，获得对数据集内在聚类结构的紧致表达。同时还提出一种基于Spark集群的慢特征并行学习方法，高效构建百万规模图像片段间近邻关系，实现大规模慢特征学习。3）围绕视觉监控中的行人属性识别、行人再识别等应用问题，提出一系列方法，包括：基于深度上下文感知特征学习的行人再识别方法、对抗遮挡数据扩充的行人再识别方法、基于姿态指导的行人属性识别方法和基于弱监督学习的人体属性定位与识别等，有效提升行人属性识别和行人再识别在真实监控环境中的识别准确性。