基于畸变自适应和时空拓扑约束的深度神经网络架构的行人重识别方法研究

Person re-identification has a wide range of applications in smart video surveillance, home care system and intelligent campus surveillance. The project studies the deep convolutional neural network framework based on distortion adaptation and temporal-spatial topology constraints, which bottoms on the extensive research on crowd surveillance, pedestrian tracking, smart video surveillance and the combination with existing research on computer vision and machine learning. The research mainly contains, (1) The design of deep convolutional neural network (deep CNN) for video-based person re-identification. (2) Distortion analysis and its usage in deep CNN. (3) Spatial-temporal topology constraint and its usage in deep CNN. Through the above-mentioned algorithm design, we aim to take full advantage of the all-around visual information of the pedestrian and utilize the distortion and spatial-temporal topology priors to guide the model learning procedure for person re-identification. Therefore, we can finally improve the performance of the person re-identification system (both recognition rate, recognition speed and robustness), meet the practical video surveillance needs in robust long-term tracking and person retrieval among large video dataset, as well as make a contribution to the improvement in intelligentization and informationization of urban management for our country.

行人重识别技术在公共安全视频监控、智慧居家养老防护和智慧校园安全管理等领域有着非常广泛的应用。本项目结合申请者过去对人群监控和行人跟踪等智能视频分析的工作基础，通过汇聚计算机视觉、机器学习等诸多领域的研究成果提出基于畸变自适应和时空拓扑约束的深度神经网络架构的行人重识别方法。主要研究：（1）面向视频数据行人重识别的深度卷积神经网络设计；（2）畸变模式分析及其在深度卷积神经网络中的应用；（3）时空拓扑约束建模及其在深度卷积神经网络中的应用。旨在对行人的全方位的视觉信息进行利用，并融合各种先验知识来约束行人重识别模型的学习,以提高行人重识别系统的性能（识别率、识别速度和鲁棒性等），满足实际视频监控应用中锁定跟踪或目标在海量视频数据中的检索等实际应用需求，为提高我国城市公共安全管理智能化、信息化水平做出贡献。

基于畸变自适应和时空拓扑约束的深度神经网络架构的行人重识别方法研究具有重要的现实意义。为了有效地对多个跨场景摄像头下捕捉到的行人图片或视频进行正确关联匹配，上海交通大学郑世宝教授领导的研究团队，在国家自然科学基金面上项目的资助下，针对深度学习框架下的行人重识别，尤其是重识别过程中的畸变问题以及时空拓扑约束问题开展了深入的研究工作，主要成果包括：.1.高效且鲁棒的行人特征描述方法：基于联合度量学习和字典学习提出了颜色域不变的特征；利用旋度和散度描述子对行人运动轨迹进行特征表达，以捕捉行人的动态特征；提出算法以融合行人外貌的静态信息和动态信息以提取更鲁棒的联合特征；为了抑制具有干扰性的噪声的影响，提出了一个名为FFDS的多帧静态特征融合模块。.2.深度学习度量学习：基于深度度量学习算法的研究，提出参考导向三重态损失,通过引入参考图像，来自同一类别的图像彼此之间变得更加紧密，并且减轻了类别间的重叠问题。.3.重排算法：提出重排序的优化方法，用时空信息和网络一致性优化的方法来补偿基础行人重识别带来的精度缺失。.4.行人重识别训练数据增强方法：针对训练数据中正样本对和负样本对的数量不均衡的问题，提出生成算法，利用大量网络图片作为背景，克服复杂背景对行人重识别的影响，增强模型的泛化能力。.5.行人特征对齐方法：提出了在训练集中的正样本对上进行离线图匹配训练，并将学习得到的局部特征之间的对应关系在线地、推广到测试数据，并将局部特征之间的特征距离进行融合来得到每个测试图像对的距离；为了增强匹配对应关系传递的鲁棒性，提出了姿势上下文描述符来精确地模拟人体配置，并提出了一种测量一对姿势上下文描述符之间相似度的方法。同时，为了提高测试效率，提出一种使用投票机制的对应模板集成方法，该方法显着减少了距离计算中逐块匹配的数量。.6.检测式行人搜索方法：提出具有空间不变性的检测式行人搜索模型,用级联的结构将行人检测任务与行人再识别任务相结合，实现了一体化的检测式行人搜索。.上述研究成果已经部分应用于华为和千视通共同推出的“全域视频目标追踪系统”,在国内许多城市进行了部署，得到了包括公安部在内的多个奖励/奖状。已发表SCI/EI收录的国际学术论文33篇，其中期刊论文14篇，会议论文19篇。已申请专利12项，获得授权10项。