基于半监督学习和交互模型的多目标跟踪方法

Multi-target tracking plays an essential role in many applications and remains challenging open problems. Some of the previous research tends to fail when the object subjects to dynamic background, partial occlusion,complex background or mutual influences among targets'motions. To address these problems, we propose a new approach for robust real-time multi-target tracking via predicting target's motion using interaction model and online select features with semi-supervised learning method.Firstly, our interaction model could provide an accurate estimation for targets'motion. Secondly, we design online feature selection and occlusion analysis to build adaptive appearance model for tracking targets. Finally, we integrate the interaction model, online feature selection based on semi-supervised CovBoost and occlusion analysis based on onloine random forest into a unify multi-target tracking framework to develop a new robust multi-target tracker. It unifies the key problems (motin model and appearance model) of the tracking into a multi-target tracking framwork and achieves real-time multi-target tracking.We also attempt to utilize the proposed multi-target tracking method to some areas related to the people's livelihood,such as video surveillance,intelligent transportation, etc.

多目标跟踪技术是计算机视觉、图像理解领域的核心研究之一,其在视频监控、视频分析及检索、运动分析及合成等领域发挥了重要作用。由于在跟踪过程中，目标形态的变化、遮挡的存在、复杂的环境制约及运动的相互影响等使得对多运动目标的跟踪变得更加困难。在本研究中，申请人拟采用交互模型来对目标的运动进行预测，并通过半监督的在线学习方法进行自适应特征选择，实现对多目标的实时鲁棒跟踪。首先，使用交互模型可以对多目标的运动提供较为准确的估计；其次，通过在线特征选择和遮挡分析为跟踪目标构建具有自适应性的表观模型；然后，在跟踪过程中将交互模型与基于半监督CovBoost的在线特征选择、在线随机森林遮挡判别分析器结合起来，提出一种基于交互模型和在线特征选择的多目标跟踪器，将跟踪中的关键问题（运动建模和表观建模）统一到一个多目标跟踪框架下；最后实现实时准确的多目标跟踪，并尝试拓展到视频监控、智能交通等实际社会民生应用中。

在跟踪过程中，目标形态的变化、遮挡的存在、复杂的环境制约及运动的相互影响等使得多运动目标跟踪变得非常困难。本项目针对现有方法在复杂背景及运动应用中所存在的跟踪失效问题，对基于半监督学习和交互模型的多目标跟踪方法进行研究。研究内容包括：1)提出了基于半监督CovBoosting的单目标跟踪及多目标跟踪方法，有效应对了跟踪视频中表观及背景渐变带来的挑战；2)提出了基于交互模型的多目标跟踪方法，包括如何估计目标的运动趋势，怎样度量轨迹的运动相似性，如何挖掘场景中的结构信息来改善跟踪性能，有效解决了跟踪过程中目标运动复杂这一难题；3)提出了基于表观重构误差预测的跟踪方法，包括如何中跟踪过程中，构建反应目标运动及上下文信息的特征，预测目标的在学习到的生成空间中的重构误差的变化，以适应目标和背景表观的变化。课题组的研究成果发表在相关的国际期刊和会议上，已发表学术论文16篇，其中包括IEEE Trans在内的国际期刊10篇，国际会议6篇，培养研究生6名。