面向真实监控场景的行人再识别关键问题研究

Person re-identification is a challenging topic in the field of computer vision and video surveillance. It has the important meaning in method and the great value in application. Aimed at the large scale network of video surveillance, this project will focus on the application of person re-identification in the real environment. Based on the works of the research group in the past several years, firstly, this project will try to solve the problem that the position of person is not known in the original image. By designing the framework of the combination of person detection and person re-identification, the position of a certain person can be found. Then, for the problem that it is easy to gain the massive person images but hard the accuracy labels, this project will do some researches about the unsupervised methods and the semi-supervised methods. By this way, the difficulty of lacking the training samples in person re-identification can be alleviated greatly. Finally, based on the above research achievements, considering that the video sequences are the main data form in video surveillance, this project will explore the task of person re-identification between video sequences. We will propose the novel methods about the feature representations and similarity measurements of video sequences. All the proposed methods will be checked on the public databases. The researches of this project will improve the performance and the robustness of person re-identification greatly. It will promote the development of video surveillance.

行人再识别问题是计算机视觉和视频监控领域的研究热点，具有重要的理论意义和应用价值。本项目面向复杂大规模视频监控网络，以推动行人再识别技术在真实复杂监控场景下的实际应用为目标，在已有研究工作的基础上，针对视频监控原始图像中行人位置未切割的问题，研究行人检测和再识别的有效融合，从而实现原始图像中行人的位置定位；针对视频监控中虽易获得大量行人图像但是数据标注困难的问题，研究如何无监督或半监督地对无标定数据进行信息挖掘，从而解决行人再识别问题中训练数据不足的问题。在上述研究的基础上，从检索特定行人这一重要需求出发，针对实际监控数据为视频片段的特点，研究如何从视频片段中得到行人稳定的特征描述和高效的匹配函数，从而推动行人再识别问题在真实监控场景中的实际应用。本项目所提出的新理论、新方法将在公开的数据库上进行验证，其研究成果将有助于提高行人再识别的准确性和可靠性，具有重要的理论和现实意义。

本项目针对行人再识别问题中的特征提取和网络构建这些科学问题开展深入研究，在遮挡区域的补全、相邻帧之间的差异互补性特征提取，以及目标一致的行人搜索等三方面取得了具有特色的研究突破，代表性工作进展如下：.1）针对视频行人再识别的部分遮挡问题，本项目基于行人的空间结构信息和视频的时序信息，提出了遮挡区域的特征补全的方法，用来精确的恢复遮挡部位的信息。在多个视频行人再识别数据集上获得了广泛验证。另外，本项目还构建了一个大规模的基于视频的遮挡行人再识别数据集，从而促进了遮挡行人再识别问题的研究；.2）针对基于视频中的行人特征提取问题，本项目从避免相邻帧之间的表观特征过于相似的角度出发，提出了时序互补网络和显著到广泛模块，分别从注意力区域的逐渐减小和逐渐扩大方面对行人序列的连续帧提取了互补的特征；针对视频中的表观不对齐问题，本项目提出了表观保持3D卷积方法，实现了在像素级别上近邻帧特征图的对齐。在多个视频行人再识别数据集上获得了广泛验证。.3）针对直接从原始视频的图像中识别特定行人时，出现的行人检测和再识别两个阶段目标不一致的问题，本项目引入了一系列目标一致的两阶段的行人搜索框架。通过构造辅助分支，和加入与现有的边界框识别头部平行的验证头部，来预测查询目标和建议框之间的相似度得分。通过构造混合训练集，和动态产生大量符合真实分布的检测结果，提高了对检测不精确的鲁棒性。在两个广泛使用的基准数据集上，本项目提出方法的性能都超越了以往最先进的方法。.围绕上述工作，课题累计发表论文46篇，其中主流国际期刊论文16篇，国际会议论文30篇，含CCF-A类期刊会议论文19篇。已发表论文Google Scholar引用2100余次，单篇最高引用400余次，单篇引用过100次的论文6篇。项目成果申请国家发明专利1项。项目执行期间获得了ECCV 2022 视觉目标跟踪竞赛（VOT 2022）矩形框标注下实时跟踪（RTb）和矩形框标注下短时跟踪（STb）两个赛道冠军。项目的研究成果推动了行人再识别技术在真实复杂视频监控网络中下的实际应用。