基于自适应外观模型及深度强化学习的视觉跟踪

Robust visual object tracking in complex scenes is still a challenging task, whose difficulty includes how to get a suitable appearance model that matches the current tracking state, design apposite tracking framework for tracking tasks. At present, the main research idea focusses on learning the class difference and using a two-class model. Therefore, it is difficult to deal with dramatic changes in targets and it is also easy to accumulate errors. This project aims to study the effective representation and adaptive updating of deep hierarchical features, explores the feasibility of a deep reinforcement learning framework for visual tracking tasks. The main research contents of this project include: How to design a feature representation that matches the tracking task, how to design the network structure to extract deep discriminative hierarchical features with both instance-lever and class-lever; how to reasonably describe adaptive update feature layers, how to establish a corresponding update strategy to solve the dramatic changes in the target; how to build a tracking framework that is more in line with tracking tasks, how to properly apply the experience playback mechanism in deep reinforcement learning to reduce the cumulative error of the model. The research results of this project will provide new research ideas and methods for visual tracking.

实现复杂场景下稳健的视觉跟踪仍然是一项极具挑战性的任务，其难点在于寻找符合当前跟踪状态的目标外观模型，及贴合跟踪任务的跟踪框架。目前主流方法在外观模型方面仅关注目标的类别差异性，很难处理目标剧烈变化；并且二分类观察模型的使用，也易累积误差。为此，本项目拟围绕深度分层特征的有效表示、自适应更新及深度强化学习在跟踪领域的应用问题开展研究。主要研究内容包括：如何设计与跟踪任务相匹配的特征表示，构建相应的网络结构，提取兼具类别区分力与示例判别力的深度分层特征；如何对深度分层特征自适应更新问题进行合理描述，并建立相应的更新策略，提升外观模型应对目标剧烈变化的能力；如何构建更符合跟踪任务的跟踪框架，合理应用深度强化学习中的经验回放机制，降低模型累积误差等。本项目的研究成果将为视觉跟踪提供新的研究思路与方法。

稳健目标跟踪是视觉目标跟踪的重要研究目的。特别是在复杂场景下，受目标本身持续变化、长期遮挡、大量相似物干扰等挑战，对目标外观表示的有效更新是稳健跟踪研究的核心。解决这一问题的关键，是对当前的跟踪质量进行有效评估。因此，本项目提出基于跟踪可靠性自适应评估的跟踪框架，旨在实现稳健的长时目标跟踪。首先，提出一种基于自纠正学习的目标跟踪模型，通过自适应标注学习获得跟踪可靠性评估训练样本，缓解了目标跟踪研究中面临的累计误差问题。同时多角度动态非极大值抑制策略的设计也显著提升候选目标选择的有效程度。在获得跟踪可靠性评估后，进一步提出一种基于软阈值智能调整的动态外观表示自更新的目标跟踪模型，通过跟踪质量评估和软阈值协作挑选多个可靠目标外观，极大提升跟踪模型在目标搜索时的效率，和跟踪模型对于目标重捕获的能力。此外，目标跟踪作为一种典型的弱监督问题，跟踪过程中收集的样本多为低质量且存在较大的不确定性。在跟踪可靠性研究基础上，提出一种利用跟踪过程中未知损坏的低品质样本，引导改进网络模型结构并增强其泛化能力的方法，有效提升了复杂环境下网络模型的泛化能力。.本项目相关研究成果对于稳健目标跟踪研究具有积极的推动作用。相关研究成果在动态大视差图象拼接研究和智能交通控制研究中得到应用。截止2022年底，受本项目支持，累计发表学术论文20篇，其中SCI检索10篇、Ei检索会议6篇、Ei检索期刊3篇、中文核心1篇，公开发明专利3项，培养博士1名、硕士5名；获得学生竞赛奖项10项。