基于表观模型学习和运动模式记忆统一架构的目标跟踪方法研究

In the field of video signal processing, object tracking is an essential problem continuously extracting high interests from community. Recently, the performances of conventional object tracking approaches have been significantly prompted by introducing deep convolutional networks into classical tracking framework as visual feature extractor and appearance model. However, since the application scenarios of object tracking become more and more complex, for the challenging problems such as appearance drastic variations and foreground severe occlusions, restraining the discussions within the classical framework brings serious limitation. To address this problem, we study the question of object tracking from the perspective of knowledge learning and memorization, proposing to reconstruct classical tracking methods within the unified framework of deep learning. Specifically, the appearance model of target is learned by convolutional layers from the similarity between samples. The dynamic patterns of target as well as global image are memorized by recurrent layers. Finally, the hybrid network forms a unified framework of feature extraction, knowledge memorization and object tracking, thus further prompts the performance of tracker under various scenarios. Not only is the resulting work of this project promising to be extended as a novel object tracking system, the research of online learning of complex spatio-temporal networks also provides potential improvement to related fields of deep learning.

目标跟踪问题是视频信号处理领域长期以来的一个基本问题和热点问题。近年来，在经典目标跟踪框架中引入深度卷积网络提取视觉特征构建表观模型，作为一条可行思路显著提升了传统目标跟踪方案的综合性能。然而随着该领域所涉及的应用场景日趋复杂，对于外观剧烈改变、前景严重遮挡等挑战性问题而言，继续在经典目标跟踪框架下进行算法改进所带来的局限性越发明显。针对此现状，本项目提出在统一的深度学习框架内重构经典方法，从知识学习和记忆的视角研究目标跟踪问题；一方面通过卷积网络基于样本之间的相似性学习表观模型，一方面通过递归网络记忆目标乃至全局图像的运动模式；最终实现特征提取、知识记忆和目标跟踪的统一结构，提升跟踪器在差异场景下的综合性能。本项目研究成果不仅对视频目标跟踪方法的进一步发展具有重要意义，其中对于复杂空时网络在线训练等理论问题的讨论还可为深度学习相关领域的发展提供新思路。

本项目在深度学习的大框架下对视频目标跟踪问题展开研究。传统的跟踪器方案通常使用卷积网络将视频图像帧从高维空间进行特征嵌入至低维空间，在此过程中提取出有利于目标匹配的细节特征实现对同一个目标在不同帧之间的位置跟踪。在具有并行计算能力的硬件支持下，该方案具有速度快、准确性高的优势。然而对于一些诸如外观剧烈改变、前景严重遮挡的挑战性问题而言，传统方案仅使用目标实例信息就带来较大的局限性。为解决以上问题，本项目从表观模型学习和运动模式记忆的视角出发研究目标跟踪，提出实例特征和语义知识相统一的目标跟踪模型，该模型在输出传统的目标位置坐标的基础上，同时对目标进行类别判断，通过语义知识带来的正则化信息提升了跟踪器对于复杂变化目标的跟踪准确度和鲁棒性。在此基础上，本项目尝试引入注意力模型进一步提升特征提取器的效率，将与最终目标匹配相关的特征进行增强而弱化无关的特征。本项目首先从基础理论上研究了注意力机制和与之相关的变体胶囊网络动态路由方法。考虑到视频信号处理场景最关心的速度问题，项目从算法效率问题出发尝试改进动态路由方法，分别提出了基于加权核密度估计的快速动态路由算法和基于稀疏约束重建的胶囊路由算法两种方法。从不同视角重新解构了路由算法的基本目的和核心问题，重新建模了求解流程，最终提升了整个过程的效率和整体网络模型的性能。在取得理论研究进展的基础上，项目成功的将注意力机制引入了同属于特征嵌入和提取的行人重识别问题，提出了基于非对称分支网络的行人重识别方法。方法在传统的主干网基础上增加一个非对称分支网络，配合注意力模型专注于提取和目标匹配更相关的视觉特征，取得了显著的识别准确率提升。本项目的研究成果对于目标跟踪以及相关的特征嵌入等基础问题的解决提供了一系列效率更快性能更高的可行方案。