基于目标检测的视觉多目标跟踪技术研究

The main task of visual multi-object tracking is to locate and recognize multiple different objects in each video frame, and then construct their respective trajectories from the video sequences. In recent years, the object detection, which implements the task of locating and recognition, has made a significant breakthrough, the tracking by detection framework thus becomes the mainstream of multi-object tracking study. However, in complex cases where the number of objects is large and the objects are frequently occluded to each other, even the best object detector fails to detect all objects exactly, there are many missed and false alarms in the video frames. Hence, how to effectively associate these noise detections from different frames to restore the complete trajectory of each object is the main challenge facing by tracking by detection method. The proposal plans to study the data association, appearance and motion modeling, and metric learning issues of multi-object tracking. Specifically, to handle the semi-online multi-object tracking case, we plan to design a multi-label Markov random field (MRF) algorithm for the data association, to extend multi-object tracking to multi-camera scenes, we plan to propose the object re-identification and re-location to share the information from different views; To meet the requirements of detection sequences based metric learning, we plan to design a novel Siamese network with the attention mechanism.

视觉多目标跟踪的主要任务是对视频帧中的多个目标进行定位和识别，并在视频序列中还原所有目标运动轨迹的过程。近年来，实现目标定位和识别功能的目标检测方法获得重要突破，先检测后关联成为视觉多目标跟踪的主流研究方向。然而，在目标数量众多且遮挡严重的视觉环境中，检测方法提供的目标响应存在大量漏检和误检情况。如何有效地关联不同帧之间带有噪声的检测响应，还原目标完整的路径是基于检测的多目标跟踪方法面临的主要挑战。项目拟研究多目标跟踪中的数据关联问题，外观和运动建模问题以及相似性度量问题。针对半在线处理方式的多目标跟踪特性，提出多标签马尔科夫随机场数据关联算法；面向多摄像头下的多目标跟踪场景，提出融合多视野信息的目标重识别和重定位技术；分析基于检测响应序列的相似性度量方法，提出融合注意力机制的孪生度量学习网络。

视觉多目标跟踪的主要任务是对视频帧中的多个目标进行定位和识别，并在视频序列中还原所有目标运动轨迹的过程。近年来，实现目标定位和识别功能的目标检测方法获得重要突 破，先检测后关联成为视觉多目标跟踪的主流研究方向。然而，在目标数量众多且遮挡严重的视觉环境中，检测方法提供的目标响应存在大量漏检和误检情况。如何有效地关联不同帧之间带有噪声的检测响应，还原目标完整的路径是基于检测的多目标跟踪方法面临的主要挑战。项目研究了多目标跟踪中的数据关联问题，外观和运动建模问题以及相似性度量问题。首先，本项目研究了面向半在线处理方式的多目标跟踪数据关联算法，提出了一种满足多种约束条件的马尔可夫随机场的算法模型，并提出了对应的优化方案，充分发挥了面向半在线处理方式的多目标跟踪方法的优越性。其次，本项目研究了目标重识别和重定位技术，设计了能高效融合多摄像头信息的外观模型和运动模型，提高了多目标跟踪在遮挡环境下的性能。最后，项目还研究了目标行人的注意力机制技术，形成高置信度的潜在目标序列，并基于此设计了一种基于检测响应序列的度量方法，桥接已有目标序列和当前帧中检测，提高了复杂环境下的多目标跟踪效果。本项目紧密围绕上述三项计划内容开展了系统深入的研究，在算法模型上另辟蹊径力求创新，在实验结果上结合前沿技术力求性能优越，取得了一定的研究成果，完成了项目申请书的研究内容，达到了项目研究目标。在项目的资助下，发表了8篇和项目研究内容紧密相关的高水平学术论文，培养了5名博士研究生和4名硕士研究生，符合项目预期的指标要求。项目对多目标跟踪方法的数据关联、外观和运动建模、相似性度量环节进行了深入研究，设计了高效的算法模型，进行了严谨的验证，研究成果为复杂环境下视觉多目标跟踪提供了有效的解决方案，在安防、军事和医学等领域具有广泛的应用前景。