开放场景下基于深度学习的时空信息融合行人再识别方法研究

Pedestrians recognition is the most important issue in intelligent video analysis. Person re-identification among multiple cameras has an important research significance in intelligent video analysis system. In view of the current open scenario again Facing the bottleneck problem and key technology of non-overlapping visual region person re-identification in open world, this project is committed to research pedestrian recognition theory, method and key technology based on the deep learning method in order to realize the goal for person re-identification in across the non-overlapping visual region, disappeared after a while. We focus on both appearance-based feature and gait information extraction of pedestrian based on deep learning for identification, and study of spatial and temporal information fusion method. The main research contents is, the research of appearance-based feature extraction and description of pedestrian target modeling method based on convolutional neural network and fine-grained body joints and human attributes, which can decrease the semantic gap between computer vision and human cognition; Research of gait characteristics extraction using recurrent neural network and multi-view matching strategy to introducing human movement information in person re-identification; Research of matching method of person re-identification under non-overlapping sight in open world and fusion method with pedestrian target information of space and time, namely the combination of appearance-based feature and gait feature to improve the recognition performance. Through the above contents of the research, study and master the key technology of person re-identification under non-overlapping visual region in open world.

行人目标识别是智能视频分析中最为重要的信息。在智能视频分析系统中多摄像头间的行人再识别具有重要的研究意义。针对当前开放场景下非重叠视域行人再识别所面临的瓶颈问题和关键技术，本项目致力于研究开放场景下基于深度学习的非重叠视域行人再识别理论、方法和关键技术，以实现对行人目标在跨越非重叠视域、消失后再现等情况下的再识别。本项目重点是基于深度学习的行人表观和步态鉴别特征提取、非重叠视域行人匹配和时空信息融合方法的研究。主要研究内容是，研究基于卷积神经网络和精细行人关键点及属性信息的行人表观鉴别性特征提取和描述，同时提高识别准确率；研究基于循环神经网络的行人时空信息提取方法和多视角步态特征匹配算法，实现对行人运动信息的提取与匹配；研究开放场景下非重叠视域行人表观特征和步态特征时空信息融合和匹配的方法，提高行人再识别性能。本项目将通过上述内容，研究和掌握开放场景下非重叠视域行人再识别关键技术。

本课题主要成果包括：（i）基于特征层校正的行人再识别方法取得进展。针对非刚体行人的特征配准这一瓶颈问题，提出一种特征图层配准方法，有效解决了非刚体行人再识别中的特征配准问题。突破了非刚体特征配准难的技术瓶颈，促进了行人再识别性能的提升，因此获得了国际模式识别学会2018年度年会的最佳论文。（ii）行人语义部件特征学习研究取得进展。为挖掘行人身体结构信息、提高特征鉴别力，我们提出一种基于广义部件的行人部件特征学习方法，即部件特征学习结构Part-based Convolutional Baseline (PCB)，有效解决了行人再识别中准确定位、对齐各个部件的问题，可以减小部件检测误差，提高了部件特征鉴别力。PCB 具有良好的通用性，能够使用各种部件提取策略学习广义部件特征，并最终显著提高行人再识别准确率。提出了一种弱监督的部件提纯池化方法Refined Part Pooling (RPP) ，它通过提纯初始部件进一步提高了PCB 性能。RPP 在PCB 基础之上，进一步提高了国际领先水平。以该工作为主要内容的博士论文获得了中国图像图形学学会2020年优秀博士论文（全国10篇）。（iii）提出一种基于行人时空信息的多视角步态特征匹配算法，实现对行人运动信息的提取与匹配行人步态识别。研究论文发表在IEEE期刊上；（iv）针对现有行人再识别研究领域中缺少符合实际场景需求的数据集的瓶颈问题，构建了一个来源于实际监控场景的行人再识别数据集，拓展了行人再识别研究的适用范围。（v）无监督域自适应行人再识别（UDA）研究取得进展。.本项目执行以来，发表与行人再识别研究相关的国际顶会和顶刊代表性论文共12篇，包括PAMI、CVPR、ICCV、ECCV、BMVC、ICPR、ICIP等本领域重要刊物和顶级会议。Google学术引用逾1,600次。在行人再识别视觉特征表达研究中，提出的PCB方法被多个学术研究机构和公司采用为 baseline。在行人再识别注意力机制理论研究中，创新性提出特征层配准的FAL计算模型，获得同行高度评价，论文被评为国际模式识别学会ICPR2018最佳学术论文。与行人再识别相关的一篇博士论文获得中国图像图形学学会2020年优秀博士论文。