基于快速视觉注意模型和深度学习的视觉跟踪

Visual tracking is widely used in many domains such as visual surveillance and robotics. Difficulties in tracking objects can arise due to changing object appearance, background clutters, occlusions and abrupt motions, etc. Selecting those most relevant parts of the scene quickly to gather more detailed information and learning good image features automatically may address the above issues effectively. This project aims to develop stable and humanoid object tracking algorithms by combining visual attention mechanism and deep learning. Firstly, to select the most important and the most relevant visual information with respect to the object tracking task, we will model visual attention mechanism with sparse Fourier transform and then propose a fast, sparse Fourier transform based visual attention computational model. Secondly, we will study online deep learning methods. Taking visual attention mechanism into consideration, online deep learning methods will learn automatically image features which not only can draw human’s attention but also can separate target object from background. Thirdly, we will build a visual tracking framework which combines visual attention mechanism and deep learning methods. Visual attention mechanism detects potentially most relevant salient regions. Candidates are sampled based on detected salient regions and evaluated by image features learned by above-mentioned online deep learning methods. Hence, stable and humanoid object tracking algorithms can be achieved. Finally, we will realize a stable visual tracking prototype system for dynamic scenes.

视觉跟踪广泛应用于视频监控、机器人等领域，其困难主要来自于目标外观变化、背景杂乱、遮挡和突变运动等方面。快速高效地进行视觉信息筛选和自动学习良好的特征将有效解决这些问题。本课题拟将视觉注意机制和深度学习方法引入到目标跟踪，并对其展开深入研究: 首先，利用稀疏傅立叶变换对视觉注意机制进行建模，拟提出基于稀疏傅立叶变换的快速视觉注意计算模型,用于筛选对目标跟踪而言最为重要和有用的视觉信息;其次，研究可在线训练的深度学习方法，并结合考虑视觉注意机制，在线自动学习那些能引起人眼注意的、并能从背景很好地将目标区分出来的图像特征；最后，建立融合了视觉注意机制与深度学习方法的目标跟踪框架，视觉注意机制检测出目标最有可能出现的区域，基于这些区域进行候选样本采样；使用之前学习到的特征对候选样本进行评价，从而实现更为稳定和更接近于人类认知机制的目标跟踪算法。最终建立一个适用于动态场景的稳定的视觉跟踪原型系统。

视觉跟踪广泛应用于视频监控、机器人等领域，其困难主要来自于目标外观变化、背景杂乱、遮挡和突变运动等方面。快速高效地进行视觉信息筛选和自动学习良好的特征将有效解决这些问题。本课题提出了系列视觉注意计算模型，以及基于这些模型的目标跟踪方法。主要内容包括：视觉注意计算模型方面，提出了一种基于边框对比度和正则化流形排序的显著物体检测模型；提出了一种基于背景置信度以及融合扩散过程的显著物体检测模型；提出了一种“视觉显著性指导的物体发现方法”，这些视觉注意模型能快速有效地提取显著目标区域，并在相关基准测试数据集上取得了很好的效果。目标跟踪方法方面，对基于深度学习的三维目标位姿估计方法进行了综述；提出了一种“自上而下的视觉注意增强的粒子滤波目标跟踪方法”；提出了一种“频谱分析视觉注意模型指导的目标跟踪方法”；提出了一种具有判别性特征选择能力、用于移动机器人的自适应概率目标跟踪方法。提出的这些跟踪方法能有效处理目标外观变化、背景杂乱、遮挡和突变运动等困难，为进一步实现稳定和更接近于人类认知机制的跟踪算法的研究奠定了良好的基础并提供了很好的参考。