基于视频属性－目标特征在线匹配的视觉跟踪研究

In the existing tracking algorithms, almost no one method can cover all of complicated situations such as object pose and scale variation, occlusion, illumination variation, motion blur and background clutters etc. The reason is that effective features will change with target motion and attributes of video sequence. To address above issue, we present a novel adaptive features selection tracker based on video sequence attributes. Firstly, the so-called attribute vector used to describe consistently all kinds of video attributes is extracted. Secondly, in an offline phase, we learn the attribute vector-feature-matching database by training and clustering. In the online phase, once a sequence attribute change is detected, the learned attribute vector-feature-matching database is activated and the best matching feature is selected. Finally, we.combine object-scene model with the selected feature to realize object tracking. Further, online selecting the corresponding effective features based on the different attributes of target motion and video sequences and considering the scene information in tracking conditions make our algorithm apply to a number of challenging video sequences in uniformly framework.

对于视觉跟踪中目标姿态和尺度改变，遮挡，光照变化，运动模糊以及背景杂波等情况，现有跟踪算法中几乎没有一种方法可以通用于以上所有视频。原因在于不同运动特性或视频属性对应的目标有效特征描述不尽相同。针对这一问题，本课题提出了一种可随视频属性变化而自适应选取特征的视觉跟踪方法。首先提取用以统一描述各类视频属性的所谓属性向量；其次通过离线学习和聚类的方式学得“属性向量－特征”匹配库；然后在线检测当前视频段的属性，一旦检测到视频属性发生变化，将激活学得的“属性向量－特征”匹配库从而自适应选择与属性向量匹配的特征；最后建立目标－场景关系模型，联合在线获得的特征共同实现对目标的跟踪。该算法不仅可以根据目标的运动特点和视频属性在线选取目标的有效特征，而且考虑了跟踪情况下的场景信息，能够有效应对各类复杂视频，并为视觉跟踪问题提供一个统一的框架。

本项目在现有相关滤波和深度学习算法的基础上，针对跟踪中出现的问题和不足，提出了一些用于视频目标跟踪的新算法。本项目的主要研究内容和成果如下：.针对传统特征的片面性，传统跟踪模型对于跟踪漂移问题检测手段和补救措施的缺乏等问题，提出了一种残差深度特征和漂移检测的核相关滤波跟踪算法。通过卷积神经网络提取分层特征，在卷积神经网络中加入残差结构，实现浅层特征和深层特征的融合；设计了响应强度下降计数器来判断跟踪过程中模型是否发生漂移，若目标漂移采取相对应的更新方案作为补救措施。响应强度下降计数器检测模型漂移的策略能够处理不同场景下跟踪目标的任务，实现鲁棒跟踪。.针对相关滤波器的空间正则化权重与目标内容无关和跟踪过程中模型退化等问题，提出一种基于时间感知和自适应空间正则化的相关滤波跟踪算法。在目标函数中加入自适应空间正则化项和时间感知项来缓解边界效应和过拟合问题。.针对传统深度学习算法采用多样本跟踪，计算量大等问题，提出了一种深度方向网络目标跟踪算法。构建一个深度方向网络，输出包含两个分支，一个分支输出方向类别，一个输出正负样本得分。利用输出方向类别判断下一步操作，然后采用滑窗操作逼近目标位置。正负样本分支判断目标是否丢失，若丢失重检测机制被用于重新检测目标的新位置，提高跟踪精度。.针对相关滤波算法无法从端到端训练中获益以及深度学习算法无法通过一个或少量样本在线训练深度网络，提出一种基于时间和空间网络的深度集成目标跟踪算法。构建基准网络通过优化单个卷积层来替代传统相关滤波算法解决端到端训练问题；构建分支网络提取目标时间和空间信息，进一步细化目标位置；提出自适应集成学习弥补目标特征的不足，使跟踪更精确。.本项目研究成果能够为视觉跟踪问题提供一个统一的框架，可应用于智能交通和人机交互等领域。