复杂场景认知跨视域人员轨迹跟踪方法研究

A robust cross-view personnel trajectory tracking method is the key premise for cross-camera personnel behavior video analysis and target monitoring in complex environments to promote social public safety intelligence. Aiming at the scene factors such as target appearance change, occlusion, view change, and background interference under realistic and varied environmental conditions, this project studies the cross-view personnel trajectory tracking method for complex scenes from the perspective of scene cognition and scene feature fusion. Firstly, the project achieves cognition for appearance change scene through digging the motion path characteristics of the abnormal region center in the tracking target, and realizes the optimal modeling and tracking of target scene features by minimizing the expert cumulative cost function. Secondly, in order to enhance the expression ability based on limited samples under the cross-view angle and position changes, the project constructs the target sample set with classification label, and studies the area depth cross-view target re-identification method to realize cross-view personnel trajectory matching under complex scenes. At last, the project accurately predicts future trajectories of the target by counting the motion characteristics in time and space domains and merging the characteristics of realistic scene constraints. Then the precise, stable, and long-term cross-view trajectory tracking under complex scene is realized, and is of great significance to safeguard national security, social stability, and emergency prevention of major events.

鲁棒的跨视域人员轨迹跟踪方法是在复杂环境下进行跨摄像头人员行为视频分析与目标监控，促进社会公共安全智能化的关键前提。本项目针对现实复杂、多变环境条件下人员自身外观变化、遮挡、视域变化、以及背景干扰等场景因素，从场景认知与场景特征融合的角度，研究具有复杂场景认知能力的跨视域人员轨迹跟踪方法。首先，挖掘跟踪目标异常区域重心点的运动路径特性对表观变化场景进行认知，并通过最小化专家累积代价函数实现目标场景特征最优建模与跟踪；此外，构建带有分类标签的目标样本集，研究区域深度跨视域目标重识别方法，增强有限样本在目标跨视域视角、姿态变化下的表达能力，实现复杂场景下人员跨视域轨迹匹配；最后，通过统计时间域和空间域上运动特性，并融合现实场景的约束特性准确预估复杂场景下目标的未来轨迹，以实现复杂场景下精准、稳定、长期的跨视域人员轨迹跟踪，对维护国家安全和社会稳定，重大事件应急防控具有重要意义。

依托国家自然科学基金项目“复杂场景认知跨视域人员轨迹跟踪方法研究”，本项目针对跟踪目标表观变化下的目标表观建模问题，提出的判别滤波器选择模型，构建背景信息模型对表观变化场景进行认知，以增加模板滤波器的可辨性，同时融合可见光和红外特征，实现基于判别性融合相关学习的可见光与红外融合复杂场景人员跟踪；针对跨视域视角、姿态变化对人员跟踪的影响，提出基于度量学习的边界余弦行人重识别算法，通过对特征向量和权重向量进行正则化，并引入余弦参数，使余弦空间中决策值最大化，类内差异最小化，使网络在训练过程中学习到辨别力强的特征；此外，为了提高模型在任意背景下的适应能力，提出基于交叉注意力互学习网络的无监督领域自适应行人重识别算法，在样本不包含任何标记信息的情况下训练得到一个能够随意迁移的高泛化力高识别率的行人重识别模型，实现复杂场景跨视域人员轨迹匹配；最后，针对目标轨迹预测的现实场景约束问题，如大范围目标遮挡，构建面向视频大范围目标遮挡的轨迹融合选择网络模型，从时序重建的角度出发，构建轨迹融合选择网络，缓解大范围目标遮挡造成的视频任务性能下降，用时空轨迹融合网络实现查询集中非遮挡图像替代大范围目标遮挡图像，完成视频序列的时序重建，并在视频行人重识别任务中实现了应用，提升视频行人重识别的性能，解决复杂场景认知轨迹预测问题，实现精准、稳定、长期的复杂场景下跨视域人员轨迹跟踪。本项目按照计划任务书的要求开展了研究工作，全面完成了计划研究任务，实现了预期研究目标。