协同视频监控中的行人再辨识关键技术

Person re-identification is a new identity authentication technology in spatial blind regions under multi-camera, where traditional biometrics identification technologies could not work. Nowadays the importance in anti-terrorism, public security and construction of peaceful city has largely grown while in research circle, some re-identification algorithm were proposed and they mainly focused on two aspects: the extraction and representation of appearance features and similarity metric. However, due to the huge differences in shooting angle, illumination, camera parameters, non-rigid body, posture, motion and so on, among multiple cameras, some key problems always exist such as the description and fusion of visual features, metric model with low generation power, lack of re-ranking techniques, etc. In this task, we are going to introduce deep learning, local metric learning, semi-supervised learning and re-ranking to overcome above mentioned problems, and to try to increase the precision of person re-identification and to back up the construction of collaborative video monitoring platform for big data.

行人再辨识是在跨摄像机协同监控中，在传统基于生物特征方法失效的情况下，针对大量的"空间盲区域"环境实现监控对象身份一致性判别的一种新兴技术，对反恐、公共安防及平安城市的建设有着极为现实的意义。当前，研究者主要从"外观特征设计"和"相似度度量"两个方面对行人再辨识进行了研究，但由于在跨摄像机条件下，摄像机视角、光照条件、摄像机的参数都不同；此外，人体的非刚性、变化的姿态、运动及遮挡等因素都会使行人的外观出现巨大差异。因此，现有算法存在特征提取及表示方法单一、相似性度量模型泛化能力不强、重排序技术缺乏研究等不足。本项目将深度学习、局部度量学习、半监督学习、重排序等技术引入跨摄像机行人再辨识，在现有算法存在的几个关键问题上取得突破，提高行人再辨识的准率，为建立大数据协同监控平台提供支撑。

项目组从跨场景跨摄像机条件下行人再辨识的理论入手，围绕行人匹配过程中突出的几个难题，例如特征提取与表示、相似度度量等，从传统的典型相关学习、度量学习到深度学习，循序渐进地开展行人静态外观和动态外观的特征提取与学习、多种深度再辨识网络的构建；同时，将传统度量学习与深度学习进行结合，提出了深度度量学习网络；项目组还借鉴视觉注意机理，并将其引入再辨识领域，提出了时空显著性网络来克服由遮挡等造成的不利影响。此外，在结果后处理了方面，项目组开展结果重排序的研究，提出了多种有效的重排序策略。为了提高算法的实用价值，研究了跨库行人再辨识，先后提出了基于KNN和Kmeans的无监督学习算法，提高了跨场景行人再辨识的泛化性。最后，项目组构建了面向摄像机关联的智能监控平台，服务于智慧校园和平安校园。系统除了进行行人再辨识外，还扩展了人脸识别、多目标跟踪、异常事件检测等诸多功能。在数据库的建设方面，项目组构建了大规模行人库，其一是行人检测库包括397,000个行人，其二是动态行人序列跨摄像机行人对数据库。在项目执行期间，项目组发表SCI期刊论文11篇，EI检索论文8篇，授权技术专利1项，培养博士生6名，硕士生7名。