跨场景的人体目标轨迹分析

Cross-scenario pedestrian trajectory analysis is an important part of monitoring video of public safety. Currently, the pedestrian tracking has the following challenges: the pedestrian is difficult to detect in complex scenes; the pedestrian description are not discriminative enough; the pedestrian matching between frames contains much mismatch under dense scenes. This project intends to focus on the key technologies of pedestrian trajectory analysis from the aspects of pedestrian detection, pedestrian description and pedestrian matching. Firstly, we plan to propose a novel detection framework, which takes the pedestrian detection and human pose estimation into consideration simultaneously, and transfers the human pose information from COCO dataset to unlabeled image to improve the robustness of pedestrian detection. Then, targeting to improve the discriminative ability of person description, we employ the Graph Convolutional Neural Networks to fuse the person local parts with the the estimated human pose. With the help of pose information, the LPGCNN can generate a robust final description for pedestrian matching. Finally, by taking flow information into consideration, we plan propose a novel pose-based pedestrian matching and construct an effective pedestrian tracking system. The research outputs of the project can not only promote the theoretical development related to the analysis of pedestrian object trajectory, but also provide the key technologies and solutions for the research related to pedestrian analysis, laying the foundation for the application and industrialization of related technologies.

跨场景的人体目标运动轨迹分析是面向公共安全的监控视频智能化的重要组成部分。当前的人体目标轨迹分析，面临着监控场景下人体目标难以检测、表达能力有限、多摄像头下匹配能力不足等重要挑战。本项目拟从人体目标的检测、描述、以及匹配三个方面出发，对跨场景的人体目标运动轨迹分析的关键技术展开研究，以期有效解决监控视频中人体目标分析技术面临的挑战。具体包括：研究基于人体姿态估计协同的人体目标检测模型，为人体目标运动轨迹分析中人体目标的鲁棒检测提供技术支撑；研究基于人体局部部件图卷积的人体目标描述，实现真实场景下人体目标描述的鲁棒表达学习；研究基于光流校正的人体姿态协同的人体目标匹配，构建跨场景的运动人体目标的有效跟踪轨迹。项目的研究成果不但可以推动视频中人体目标运动轨迹分析相关的理论发展，也可以为视频智能化中的与人体目标相关的研究提供关键技术和解决方案，为相关技术的应用与产业化奠定基础。

跨场景的人体目标运动轨迹分析是面向公共安全的监控视频智能化的重要组成部分。当前的人体目标轨迹分析，面临着监控场景下人体目标难以检测、表达能力有限、多摄像头下匹配能力不足等重要挑战。本项目从人体目标的检测、描述、以及匹配三个方面出发，对跨场景的人体目标运动轨迹分析的关键技术展开研究，以期有效解决监控视频中人体目标分析技术面临的挑战。主要研究内容包括三个方面：（1）在人体目标检测方面，我们研究了基于人体姿态融合的人体目标检测模型和基于选择性对齐的跨域人体目标检测算法；（2）在人体目标描述方面，我们研究了基于结构化特征学习的人体目标描述和基于三元组集成模型异质学习的无监督人体目标描述；（3）在人体目标匹配方面，我们研究了基于光流矫正的人体姿态协同的人体目标匹配和基于时空拓扑约束的人体目标匹配算法。上述研究成果在公开数据集与已有算法进行比较验证了算法的有效性。相关研究成果发表了国内外重要期刊(TPAMI, TIP,TMM, TCSVT)和会议论文(CVPR, NeurlPS, ICME)论文18篇。进一步，基于上述研究成果构建了多元人体目标轨迹分析的原型系统。项目的研究成果不但可以推动视频中人体目标运动轨迹分析相关的理论发展，也可以为视频智能化中的与人体目标相关的研究提供关键技术和解决方案，为相关技术的应用与产业化奠定基础。